Proxies

Introdução

O sistema de proxy é um componente do navegador de scraping que encaminha conexões através de um servidor proxy. É usado principalmente para evitar o bloqueio de IP, acessar conteúdo com restrição geográfica e aumentar o anonimato. O Scraping Browser oferece um sistema de proxy configurável que permite controle preciso sobre o roteamento de tráfego automatizado, incluindo anonimato, direcionamento geográfico e maior confiabilidade, facilitando a integração de proxies em seu fluxo de trabalho.

Capacidades Essenciais

A capacidade essencial do sistema de proxy reside em ocultar o endereço IP real através de um servidor intermediário e girar automaticamente ou sob demanda por diferentes endereços em um pool de IPs. Também permite selecionar servidores proxy em locais geográficos específicos, simulando o acesso do usuário de várias partes do mundo.

Cenários de Aplicação

Aplicável principalmente a cenários que exigem raspagem de dados em larga escala e contornar restrições ou bloqueios de IP do site de destino. É também uma ferramenta chave para acessar conteúdo com restrição geográfica e manter o anonimato online em tarefas como pesquisa de mercado.

Classificação

Com o Scrapeless, você tem duas opções de configuração de proxy:

• Usando proxies integrados: Encaminhe facilmente o tráfego através de nossos proxies residenciais gerenciados.
• Usando proxies personalizados: Use proxies HTTP/HTTPS/SOCKS5 personalizados para um controle mais flexível sobre o roteamento de rede.

Orientação Operacional

Usando Proxies Integrados

Usar os proxies integrados do Scraping Browser roteia o tráfego através de seus proxies residenciais gerenciados.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Seleção Geográfica de Proxy

Nossa rede de proxy integrada abrange 195 países e territórios em todo o mundo, permitindo um direcionamento geográfico preciso para suas operações de scraping. Cada local de proxy é otimizado para desempenho e confiabilidade, permitindo que você simule o acesso autêntico do usuário de regiões específicas.

Para uma seleção abrangente de países e regiões, incluindo direcionamento em nível de estado e cidade, consulte nossa documentação detalhada de proxy.

Proxies Personalizados

Se você deseja usar seu próprio serviço/provedor de proxy, pode especificar os seguintes parâmetros ao criar uma sessão. Se você usar seu próprio provedor de proxy, não será cobrado pelo uso do proxy.

• 💡A funcionalidade de proxy personalizado está atualmente disponível apenas para assinantes. Atualize aqui

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

O proxy integrado do nosso navegador em nuvem suporta apenas o tipo residencial, que é mais adequado para operações de extração de dados em larga escala. Também oferecemos separadamente vários tipos de proxy, incluindo proxies residenciais, proxies de datacenter, proxies ISP estáticos e proxies IPv6, com suporte para configurações mais refinadas. Você também pode adquirir nossos proxies independentemente e injetá-los no navegador em nuvem para corresponder a cenários de uso mais diversos. Por exemplo, se você precisar de um endereço IP que permaneça consistente e dedicado em todas as sessões, pode adquirir nossos proxies ISP estáticos. Guia