Proxies

Introdução

O sistema de proxy é um componente do agent browser que encaminha conexões por meio de um servidor proxy. Ele é usado principalmente para evitar o bloqueio de IP, acessar conteúdo com restrição geográfica e aumentar o anonimato. O Agent Browser fornece um sistema de proxy configurável que permite controle preciso sobre o roteamento de tráfego automatizado, incluindo anonimato, segmentação por geolocalização e maior confiabilidade, facilitando a integração de proxies ao seu fluxo de trabalho.

Recursos Principais

O recurso central do sistema de proxy consiste em ocultar o endereço IP real por meio de um servidor intermediário e alternar automaticamente ou sob demanda entre diferentes endereços em um pool de IPs. Ele também permite selecionar servidores proxy em localizações geográficas específicas, simulando o acesso de usuários de várias partes do mundo.

Cenários de Aplicação

Aplica-se principalmente a cenários que exigem a extração de dados em larga escala e a superação de restrições ou bloqueios de IP do site de destino. Também é uma ferramenta essencial para acessar conteúdo com restrição geográfica e manter o anonimato online em tarefas como pesquisa de mercado.

Classificação

Com o Scrapeless, você tem duas opções de configuração de proxy:

• Usando proxies integrados: Encaminhe facilmente o tráfego por meio dos nossos proxies residenciais gerenciados.
• Usando proxies personalizados: Use proxies HTTP/HTTPS/SOCKS5 personalizados para um controle mais flexível sobre o roteamento de rede.

Guia Operacional

Usando Proxies Integrados

Usar os proxies integrados do Agent Browser encaminha o tráfego por meio dos seus proxies residenciais gerenciados.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Seleção de Proxy Geográfico

Nossa rede de proxy integrada abrange 195 países e territórios em todo o mundo, permitindo uma segmentação geográfica precisa para suas operações de scraping. Cada localização de proxy é otimizada para desempenho e confiabilidade, permitindo que você simule o acesso autêntico de usuários de regiões específicas.

Para uma seleção abrangente de países e regiões, incluindo segmentação por estado e cidade, consulte nossa documentação detalhada de proxy.

Proxies Personalizados

Se você quiser usar seu próprio serviço/provedor de proxy, pode especificar os seguintes parâmetros ao criar uma sessão. Se você usar seu próprio provedor de proxy, não será cobrado pelo uso do proxy.

Nota: Ao usar o SDK para gerar proxies, você não precisa especificar explicitamente o nome de usuário e a senha. Basta focar na URL de conexão do proxy gerada.

Dica: Se você já tiver um proxy, basta passar a URL completa do proxy como parâmetro onde for necessário.

• 💡A funcionalidade de proxy personalizado está atualmente disponível apenas para assinantes. Faça upgrade aqui

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

O proxy integrado do nosso cloud browser suporta apenas o tipo residencial, que é mais adequado para operações de extração de dados em larga escala. Também oferecemos separadamente vários tipos de proxy, incluindo Residential proxies, Datacenter proxies, Static ISP Proxies e IPv6 Proxies, com suporte para configurações mais refinadas. Você também pode adquirir nossos proxies de forma independente e injetá-los no cloud browser para atender a cenários de uso mais diversos. Por exemplo, se você precisar de um endereço IP que permaneça consistente e dedicado entre sessões, pode adquirir nossos Static ISP Proxies. Guia