Proxies

Introdução

O sistema proxy é um componente do navegador de scraping que encaminha conexões por meio de um servidor proxy. Ele é usado principalmente para evitar o bloqueio de IP, acessar conteúdo com restrições geográficas e aumentar o anonimato. O Scraping Browser fornece um sistema proxy configurável que permite um controle preciso sobre o roteamento de tráfego automatizado, incluindo anonimato, segmentação de geolocalização e maior confiabilidade, facilitando a integração de proxies em seu fluxo de trabalho.

Funcionalidades principais

A capacidade principal do sistema proxy reside em ocultar o endereço IP real por meio de um servidor intermediário e rotacionar automática ou sob demanda por meio de diferentes endereços em um pool de IP. Ele também permite selecionar servidores proxy em locais geográficos específicos, simulando o acesso do usuário de várias partes do mundo.

Cenários de aplicação

Principalmente aplicável a cenários que exigem raspagem de dados em larga escala e contornam restrições ou bloqueios de IP do site de destino. Também é uma ferramenta fundamental para acessar conteúdo com restrições geográficas e manter o anonimato online em tarefas como pesquisa de mercado.

Classificação

Com o Scrapeless, você tem duas opções de configuração de proxy:

Usando proxies integrados: Roteie facilmente o tráfego por meio de nossos proxies residenciais gerenciados.
Usando proxies personalizados: Use proxies HTTP/HTTPS/SOCKS5 personalizados para um controle mais flexível sobre o roteamento de rede.

Orientação operacional

Usando proxies integrados

Usar os proxies integrados do Scraping Browser roteia o tráfego por meio de seus proxies residenciais gerenciados.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  session_name: 'sdk_test',
  session_ttl: 180,
  proxy_country: 'ANY',
  session_recording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

Geolocalização de Proxy por País

Nossos proxies integrados suportam 195 países. Consulte a documentação detalhada do proxy Scrapeless Documentação do proxy Scrapeless.

Proxies personalizados

Se você quiser usar seu próprio serviço/provedor de proxy, poderá especificar os seguintes parâmetros ao criar uma sessão. Se você usar seu próprio provedor de proxy, não será cobrado pelo uso do proxy.

💡A funcionalidade de proxy personalizado está atualmente disponível apenas para assinantes Enterprise e Enterprise Plus Faça upgrade aqui
💡Usuários personalizados de nível Enterprise podem entrar em contato conosco para usar proxies personalizados.

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30,
  sessionId: 'test-session-123',
  gateway: 'gate.smartproxy.com:7000'
});
 
(async () => {
  const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
  const page = await browser.newPage();
  await page.goto('API_URL');
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})();

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

Você também pode adquirir serviços de proxy Scrapeless separadamente.

Ambiente de teste de proxy: https://app.scrapeless.com/scrapelessteam/products/proxy/channel-list

Documentação de proxy: https://docs.scrapeless.com/en/proxies/features/proxy/

Captcha Resolving Browser Use