Proxies | scrapeless

はじめに

プロキシシステムは、スクレイピングブラウザのコンポーネントであり、プロキシサーバーを介して接続を転送します。主に、IPブロッキングの防止、地理的に制限されたコンテンツへのアクセス、匿名性の向上に使用されます。Scraping Browserは、匿名性、地理位置ターゲティング、高い信頼性など、自動化されたトラフィックルーティングを正確に制御できる設定可能なプロキシシステムを提供し、ワークフローへのプロキシの統合を容易にします。

主要機能

プロキシシステムの主要機能は、中継サーバーを介して実際のIPアドレスを隠蔽し、IPプールから異なるアドレスを自動的またはオンデマンドでローテーションすることです。また、特定の地理的位置のプロキシサーバーを選択し、世界中のユーザーアクセスをシミュレートすることもできます。

適用シナリオ

主に、大規模なデータスクレイピングと、ターゲットWebサイトのIP制限またはブロックの回避を必要とするシナリオに適用されます。また、市場調査などのタスクにおいて、地理的に制限されたコンテンツへのアクセスとオンライン匿名性の維持のための重要なツールでもあります。

操作ガイド

組み込みプロキシの使用

Scraping Browserの組み込みプロキシを使用すると、管理された住宅用プロキシを介してトラフィックがルーティングされます。

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
    const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
    const page = await browser.newPage();
    await page.goto('https://www.scrapeless.com');
    console.log(await page.title());
    await browser.close();
})();

国別のプロキシの地理的位置

当社の組み込みプロキシは195カ国をサポートしています。詳細については、Scrapelessプロキシのドキュメントを参照してください Scrapeless proxy documentation.

カスタムプロキシ

独自のプロキシサービス/プロバイダーを使用する場合は、セッション作成時に次のパラメーターを指定できます。独自のプロキシプロバイダーを使用する場合は、プロキシ使用料は請求されません。

const puppeteer = require('puppeteer-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})();

Scrapelessプロキシサービスは別途購入することもできます。

Proxy Playground: https://app.scrapeless.com/scrapelessteam/products/proxy/channel-list

Proxy Documentation: https://docs.scrapeless.com/en/proxies/features/proxy/

キャプチャ解決コストの最適化