Proxies

はじめに

プロキシシステムは、スクレイピングブラウザのコンポーネントであり、接続をプロキシサーバー経由で転送します。主にIPブロッキングの回避、地理的制限付きコンテンツへのアクセス、匿名性の向上に使用されます。Scraping Browserは、構成可能なプロキシシステムを提供しており、匿名性、地理的ターゲティング、信頼性の向上など、自動化されたトラフィックルーティングをきめ細かく制御できます。これにより、ワークフローへのプロキシの統合が容易になります。

主な機能

プロキシシステムの主な機能は、中継サーバーを介して実際のIPアドレスを隠し、IPプール内の異なるアドレスを自動または必要に応じて切り替えることです。また、特定の地理的地域にあるプロキシサーバーを選択でき、世界中のさまざまな地域からのユーザーアクセスをシミュレートできます。

適用シナリオ

主に大規模なデータスクレイピングを必要とするシナリオや、ターゲットサイトのIP制限またはブロックを回避する場合に適用されます。市場調査などのタスクにおいて、地理的制限付きコンテンツへのアクセスやオンライン匿名性の維持のための重要なツールでもあります。

操作ガイド

内蔵のProxiesを使用

Scraping Browserの内蔵プロキシを使用すると、管理された住宅用プロキシを経由してトラフィックがルーティングされます。

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  sessionName: 'sdk_test',
  sessionTTL: 180,
  proxyCountry: 'AU',
  proxyState: 'NSW',      // Optional: state code
  proxyCity: 'sydney', // Optional: city name
  sessionRecording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await puppeteer.connect({ browserWSEndpoint: connectionURL });
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/api/v2/browser?token=APIKey&sessionTTL=180&proxyCountry=AU&proxyState=NSW&proxyCity=sydney';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

地理的プロキシ選択

当社の組み込みプロキシネットワークは 世界195か国・地域に広がっており、スクラピング操作における正確な地理的ターゲティングを可能にします。各プロキシのロケーションはパフォーマンスと信頼性が最適化されており、特定の地域からの本物のユーザーアクセスを模倣できます。

国および地域の包括的な選択、州および都市レベルのターゲティングを含む詳細については、当社の詳細なプロキシドキュメントを参照してください。

カスタムのProxies

独自のプロキシサービス／プロバイダーを使用する場合は、セッション作成時に以下のパラメーターを指定できます。独自のプロキシプロバイダーを使用する場合、プロキシ使用料は発生しません。

注意： プロキシ生成にSDKを使用する場合、ユーザー名やパスワードを明示的に指定する必要はありません。生成されたプロキシ接続のURLにのみ注目すればよいです。

ヒント： 既にプロキシをお持ちの場合は、必要な場所で完全なプロキシのURLをパラメータとして渡すだけで構いません。

💡カスタムプロキシ機能は現在、サブスクリプションユーザーのみご利用いただけます。こちらでアップグレード

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30, // session duration
  sessionId: 'test-session-123', // custom proxy sessionId
  gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
 
console.log(proxyUrl)

クラウドブラウザの内蔵プロキシは住宅用タイプ（residential）のみをサポートしており、大規模なデータ抽出操作に適しています。また、住宅用プロキシ、データセンター型プロキシ、静的ISPのProxies、IPv6のProxiesなど、さまざまなプロキシタイプを別途提供しており、より細かい設定も可能です。プロキシを単独で購入し、クラウドブラウザに注入して、より多様な使用シナリオに対応することもできます。たとえば、セッション間で一貫して固定されたIPアドレスが必要な場合は、当社の静的ISPのProxiesを購入できます。ガイド

CAPTCHA の解決コストの最適化