プロキシ

はじめに

プロキシシステムは、プロキシサーバーを介して接続を転送するスクレイピングブラウザのコンポーネントです。主にIPブロックの防止、地域制限コンテンツへのアクセス、匿名性の向上に使用されます。Scraping Browserは、匿名性、地理的位置のターゲティング、信頼性の向上を含む自動化トラフィックのルーティングを精密に制御できる設定可能なプロキシシステムを提供しており、ワークフローへのプロキシ統合を容易にします。

主な機能

プロキシシステムの中核機能は、中継サーバーを介して実際のIPアドレスを隠蔽し、IPプール内の異なるアドレスを自動的またはオンデマンドでローテーションすることにあります。また、特定の地理的位置にあるプロキシサーバーを選択できるため、世界中の様々な地域からのユーザーアクセスをシミュレートすることも可能です。

適用シナリオ

主に大規模なデータスクレイピングが必要であり、対象ウェブサイトのIP制限やブロックを回避する必要があるシナリオに適用されます。また、市場調査などのタスクにおいて、地域制限コンテンツへのアクセスやオンライン匿名性の維持を実現するための重要なツールでもあります。

操作ガイド

組み込みプロキシの使用

Scraping Browserの組み込みプロキシを使用すると、トラフィックは当社が管理するレジデンシャルプロキシを介してルーティングされます。

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

地理的プロキシの選択

当社の組み込みプロキシネットワークは世界中の195の国と地域をカバーしており、スクレイピング操作における精密な地理的ターゲティングを可能にします。各プロキシの場所はパフォーマンスと信頼性のために最適化されており、特定の地域からの実際のユーザーアクセスをシミュレートできます。

州や都市レベルのターゲティングを含む、国と地域の包括的な選択については、詳細なプロキシドキュメントをご参照ください。

カスタムプロキシ

独自のプロキシサービス/プロバイダーを使用したい場合は、セッション作成時に以下のパラメータを指定できます。独自のプロキシプロバイダーを使用する場合、プロキシ使用料は請求されません。

注意: SDKを使用してプロキシを生成する場合、ユーザー名とパスワードを明示的に指定する必要はありません。生成されたプロキシ接続URLのみを意識すれば問題ありません。

ヒント: すでにプロキシをお持ちの場合は、必要な箇所に完全なプロキシURLをパラメータとして渡すだけで済みます。

💡カスタムプロキシ機能は現在、サブスクライバー限定でご利用いただけます。こちらからアップグレード

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

当クラウドブラウザの組み込みプロキシはレジデンシャルタイプのみをサポートしており、大規模なデータ抽出操作により適しています。また、より詳細な設定をサポートするレジデンシャルプロキシ、データセンタープロキシ、静的ISPプロキシ、IPv6プロキシなど、様々なプロキシタイプを別途提供しています。当社のプロキシを個別に購入し、クラウドブラウザに注入することで、より多様な使用シナリオに対応することも可能です。例えば、セッション間で一貫性があり専用となるIPアドレスが必要な場合は、静的ISPプロキシをご購入いただけます。ガイド

キャプチャ解決 Browser Use