Proxies

Introdução

O sistema de proxies é um componente do navegador de scraping que encaminha conexões por meio de um servidor proxy. Ele é utilizado principalmente para evitar o bloqueio de IP, acessar conteúdo com restrição geográfica e aumentar o anonimato. O Navegador de Scraping oferece um sistema de proxies configurável que permite um controle preciso sobre o roteamento de tráfego automatizado, incluindo anonimato, direcionamento por geolocalização e maior confiabilidade, facilitando a integração de proxies ao seu fluxo de trabalho.

Funcionalidades Principais

A principal capacidade do sistema de proxies reside em ocultar o endereço IP real por meio de um servidor intermediário e rotacionar automaticamente ou sob demanda por diferentes endereços em um pool de IPs. Ele também permite selecionar servidores proxy em localizações geográficas específicas, simulando o acesso de usuários de diversas partes do mundo.

Cenários de Aplicação

Aplicável principalmente a cenários que exigem raspagem de dados em larga escala e contorno de restrições ou bloqueios de IP de sites-alvo. É também uma ferramenta essencial para acessar conteúdo com restrição geográfica e manter o anonimato online em tarefas como pesquisa de mercado.

Classificação

Com a Scrapeless, você tem duas opções de configuração de proxy:

• Usando proxies integrados: Roteie o tráfego facilmente por meio de nossos proxies residenciais gerenciados.
• Usando proxies personalizados: Utilize proxies HTTP/HTTPS/SOCKS5 personalizados para um controle mais flexível sobre o roteamento de rede.

Guia de Uso

Usando Proxies Integrados

O uso dos proxies integrados do Navegador de Scraping roteia o tráfego por meio de seus proxies residenciais gerenciados.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Seleção Geográfica de Proxy

Nossa rede de proxies integrada abrange 195 países e territórios em todo o mundo, permitindo um direcionamento geográfico preciso para suas operações de scraping. Cada localização de proxy é otimizada para desempenho e confiabilidade, permitindo que você simule o acesso autêntico de usuários de regiões específicas.

Para uma seleção abrangente de países e regiões, incluindo direcionamento em nível de estado e cidade, consulte nossa documentação detalhada sobre proxies.

Proxies Personalizados

Se você deseja usar seu próprio serviço/fornecedor de proxy, pode especificar os seguintes parâmetros ao criar uma sessão. Se utilizar seu próprio provedor de proxy, não será cobrado pelo uso do proxy.

Nota: Ao usar o SDK para gerar proxies, você não precisa especificar explicitamente o nome de usuário e a senha. Basta se concentrar na URL de conexão do proxy gerada.

Dica: Se você já possui um proxy, basta passar a URL completa do proxy como parâmetro onde for necessário.

• 💡A funcionalidade de proxy personalizado está atualmente disponível apenas para assinantes. Faça o upgrade aqui

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

O proxy integrado do nosso navegador em nuvem suporta apenas o tipo residencial, que é mais adequado para operações de extração de dados em larga escala. Também oferecemos separadamente vários tipos de proxy, incluindo Proxies Residenciais, Proxies de Datacenter, Proxies ISP Estáticos e Proxies IPv6, com suporte para configurações mais refinadas. Você também pode adquirir nossos proxies de forma independente e injetá-los no navegador em nuvem para atender a cenários de uso mais diversificados. Por exemplo, se precisar de um endereço IP que permaneça consistente e dedicado entre sessões, você pode adquirir nossos Proxies ISP Estáticos. Guia