Proxy

Giới thiệu

Hệ thống proxy là một thành phần của trình duyệt scraping chuyển tiếp các kết nối thông qua máy chủ proxy. Nó chủ yếu được sử dụng để ngăn chặn việc chặn IP, truy cập nội dung bị hạn chế về mặt địa lý và tăng cường tính ẩn danh. Trình duyệt Scraping cung cấp một hệ thống proxy có thể cấu hình cho phép kiểm soát chính xác việc định tuyến lưu lượng tự động, bao gồm cả tính ẩn danh, nhắm mục tiêu vị trí địa lý và độ tin cậy được nâng cao, giúp dễ dàng tích hợp proxy vào quy trình làm việc của bạn.

Khả năng cốt lõi

Khả năng cốt lõi của hệ thống proxy nằm ở việc ẩn địa chỉ IP thực thông qua một máy chủ trung gian và tự động hoặc theo yêu cầu luân chuyển qua các địa chỉ khác nhau trong một nhóm IP. Nó cũng cho phép chọn máy chủ proxy ở các vị trí địa lý cụ thể, mô phỏng truy cập người dùng từ các nơi khác nhau trên thế giới.

Các tình huống ứng dụng

Chủ yếu áp dụng cho các tình huống cần thu thập dữ liệu quy mô lớn và bỏ qua các hạn chế hoặc chặn IP của trang web mục tiêu. Nó cũng là một công cụ quan trọng để truy cập nội dung bị hạn chế về mặt địa lý và duy trì tính ẩn danh trực tuyến trong các tác vụ như nghiên cứu thị trường.

Phân loại

Với Scrapeless, bạn có hai tùy chọn cấu hình proxy:

Sử dụng proxy tích hợp sẵn: Dễ dàng định tuyến lưu lượng thông qua các proxy dân cư được quản lý của chúng tôi.
Sử dụng proxy tùy chỉnh: Sử dụng proxy HTTP/HTTPS/SOCKS5 tùy chỉnh để kiểm soát linh hoạt hơn việc định tuyến mạng.

Hướng dẫn vận hành

Sử dụng Proxy tích hợp sẵn

Sử dụng proxy tích hợp sẵn của Trình duyệt Scraping định tuyến lưu lượng thông qua các proxy dân cư được quản lý của nó.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  session_name: 'sdk_test',
  session_ttl: 180,
  proxy_country: 'ANY',
  session_recording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Vị trí địa lý Proxy theo quốc gia

Các proxy tích hợp sẵn của chúng tôi hỗ trợ 195 quốc gia. Vui lòng tham khảo tài liệu proxy Scrapeless chi tiết Tài liệu proxy Scrapeless.

Proxy tùy chỉnh

Nếu bạn muốn sử dụng dịch vụ/nhà cung cấp proxy của riêng mình, bạn có thể chỉ định các tham số sau khi tạo phiên. Nếu bạn sử dụng nhà cung cấp proxy của riêng mình, bạn sẽ không bị tính phí sử dụng proxy.

💡Chức năng proxy tùy chỉnh hiện chỉ khả dụng cho người đăng ký Enterprise và Enterprise Plus Nâng cấp tại đây
💡Người dùng tùy chỉnh cấp Enterprise có thể liên hệ với chúng tôi để sử dụng proxy tùy chỉnh.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30,
  sessionId: 'test-session-123',
  gateway: 'gate.smartproxy.com:7000'
});
 
(async () => {
  const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
  const page = await browser.newPage();
  await page.goto('API_URL');
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})();

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

Bạn cũng có thể mua dịch vụ proxy Scrapeless riêng biệt.

Proxy Playground: https://app.scrapeless.com/scrapelessteam/products/proxy/channel-list

Tài liệu Proxy: https://docs.scrapeless.com/en/proxies/features/proxy/

Captcha giải quyết Browser Use