Introdução

O sistema proxy é um componente do navegador de scraping que encaminha conexões através de um servidor proxy. É usado principalmente para evitar bloqueio de IP, acessar conteúdo geograficamente restrito e melhorar o anonimato. O Scraping Browser fornece um sistema proxy configurável que permite controle preciso sobre o roteamento de tráfego automatizado, incluindo anonimato, direcionamento de geolocalização e maior confiabilidade, facilitando a integração de proxies em seu fluxo de trabalho.

Funcionalidades principais

A capacidade principal do sistema proxy reside em ocultar o endereço IP real por meio de um servidor intermediário e rotacionar automaticamente ou sob demanda diferentes endereços de um pool de IPs. Ele também permite selecionar servidores proxy em locais geográficos específicos, simulando o acesso do usuário de todo o mundo.

Cenários de aplicação

Principalmente aplicável a cenários que exigem scraping de dados em larga escala e contornam restrições ou bloqueios de IP do site de destino. Também é uma ferramenta essencial para acessar conteúdo geograficamente restrito e manter o anonimato online em tarefas como pesquisa de mercado.

Classificação

O Scrapeless oferece duas opções de configuração de proxy:

• Usando proxies integrados: Roteie facilmente o tráfego por meio de nossos proxies residenciais gerenciados.
• Usando proxies personalizados: Use proxies SOCKS5/HTTPS personalizados para controle mais flexível sobre o roteamento de rede.

Guia de operação

Usando proxies integrados

Usar os proxies integrados do Scraping Browser roteia o tráfego por meio de seus proxies residenciais gerenciados.

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
    const browser = await chromium.connectOverCDP(connectionURL);
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

Localização geográfica do proxy por país

Nossos proxies integrados suportam 195 países. Consulte a documentação detalhada do proxy Scrapeless Documentação do proxy Scrapeless.

Proxies personalizados

Se você quiser usar seu próprio serviço/provedor de proxy, pode especificar os seguintes parâmetros ao criar uma sessão. Se você usar seu próprio provedor de proxy, não será cobrado pelo uso do proxy.

const puppeteer = require('puppeteer-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})();

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

Você também pode adquirir serviços de proxy Scrapeless separadamente.

Ambiente de testes de Proxy: https://app.scrapeless.com/scrapelessteam/products/proxy/channel-list

Documentação de Proxy: https://docs.scrapeless.com/en/proxies/features/proxy/