Proxies

Giới thiệu

Hệ thống proxy là một thành phần của agent browser giúp chuyển tiếp các kết nối thông qua một máy chủ proxy. Nó chủ yếu được sử dụng để ngăn chặn việc chặn IP, truy cập nội dung bị giới hạn theo khu vực địa lý và tăng cường tính ẩn danh. Agent Browser cung cấp một hệ thống proxy có thể cấu hình, cho phép kiểm soát chính xác việc định tuyến lưu lượng tự động, bao gồm tính ẩn danh, nhắm mục tiêu theo vị trí địa lý và tăng độ tin cậy, giúp bạn dễ dàng tích hợp proxy vào quy trình làm việc của mình.

Khả năng cốt lõi

Khả năng cốt lõi của hệ thống proxy nằm ở việc ẩn địa chỉ IP thực thông qua một máy chủ trung gian và tự động hoặc theo yêu cầu luân phiên qua các địa chỉ khác nhau trong một nhóm IP. Nó cũng cho phép chọn các máy chủ proxy tại những vị trí địa lý cụ thể, mô phỏng quyền truy cập của người dùng từ nhiều nơi khác nhau trên thế giới.

Các tình huống ứng dụng

Chủ yếu áp dụng cho các tình huống yêu cầu thu thập dữ liệu quy mô lớn và vượt qua các giới hạn hoặc lệnh chặn IP của website mục tiêu. Đây cũng là một công cụ then chốt để truy cập nội dung bị giới hạn theo khu vực địa lý và duy trì tính ẩn danh trực tuyến trong các tác vụ như nghiên cứu thị trường.

Phân loại

Với Scrapeless, bạn có hai tùy chọn cấu hình proxy:

• Sử dụng proxy tích hợp sẵn: Dễ dàng định tuyến lưu lượng thông qua các proxy dân cư được quản lý của chúng tôi.
• Sử dụng proxy tùy chỉnh: Sử dụng các proxy HTTP/HTTPS/SOCKS5 tùy chỉnh để kiểm soát linh hoạt hơn việc định tuyến mạng.

Hướng dẫn vận hành

Sử dụng proxy tích hợp sẵn

Việc sử dụng proxy tích hợp sẵn của Agent Browser sẽ định tuyến lưu lượng thông qua các proxy dân cư được quản lý của nó.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Lựa chọn proxy theo vị trí địa lý

Mạng lưới proxy tích hợp sẵn của chúng tôi trải rộng trên 195 quốc gia và vùng lãnh thổ trên toàn thế giới, cho phép nhắm mục tiêu địa lý chính xác cho các hoạt động scraping của bạn. Mỗi vị trí proxy được tối ưu hóa về hiệu suất và độ tin cậy, cho phép bạn mô phỏng quyền truy cập của người dùng thực từ các khu vực cụ thể.

Để lựa chọn quốc gia và khu vực một cách toàn diện, bao gồm nhắm mục tiêu ở cấp bang và thành phố, vui lòng tham khảo tài liệu proxy chi tiết của chúng tôi.

Proxy tùy chỉnh

Nếu bạn muốn sử dụng dịch vụ/nhà cung cấp proxy của riêng mình, bạn có thể chỉ định các tham số sau khi tạo một phiên. Nếu bạn sử dụng nhà cung cấp proxy của riêng mình, bạn sẽ không bị tính phí sử dụng proxy.

Lưu ý: Khi sử dụng SDK để tạo proxy, bạn không cần chỉ định rõ ràng username và password. Bạn chỉ cần tập trung vào URL kết nối proxy được tạo ra.

Mẹo: Nếu bạn đã có một proxy, bạn chỉ cần truyền URL proxy đầy đủ làm tham số ở nơi cần thiết.

• 💡Chức năng proxy tùy chỉnh hiện chỉ khả dụng cho người đăng ký. Nâng cấp tại đây

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

Proxy tích hợp sẵn của cloud browser của chúng tôi chỉ hỗ trợ loại dân cư (residential), phù hợp hơn cho các hoạt động trích xuất dữ liệu quy mô lớn. Chúng tôi cũng cung cấp riêng nhiều loại proxy khác nhau bao gồm Residential proxies, Datacenter proxies, Static ISP Proxies và IPv6 Proxies, với hỗ trợ cho các cấu hình tinh chỉnh hơn. Bạn cũng có thể mua proxy của chúng tôi một cách độc lập và đưa chúng vào cloud browser để phù hợp với các tình huống sử dụng đa dạng hơn. Ví dụ, nếu bạn cần một địa chỉ IP nhất quán và chuyên dụng xuyên suốt các phiên, bạn có thể mua Static ISP Proxies của chúng tôi. Hướng dẫn