プロキシ

はじめに

プロキシシステムは、スクレイピングブラウザのコンポーネントであり、プロキシサーバーを介して接続を転送します。主にIPブロックの回避、地理的に制限されたコンテンツへのアクセス、匿名性の向上に使用されます。スクレイピングブラウザは、匿名性、地理位置ターゲティング、信頼性の向上など、自動化されたトラフィックルーティングを正確に制御できる設定可能なプロキシシステムを提供し、ワークフローにプロキシを簡単に統合できるようにします。

重要な機能

プロキシシステムの主要な機能は、中間サーバーを介して実際のIPアドレスを隠蔽し、IPプール内の異なるアドレスを自動的またはオンデマンドでローテーションすることです。また、特定の地理的位置にあるプロキシサーバーを選択し、世界各地からのユーザーアクセスをシミュレートすることもできます。

アプリケーションシナリオ

主に大規模なデータスクレイピングと、ターゲットウェブサイトのIP制限またはブロックの回避を必要とするシナリオに適用されます。また、市場調査などのタスクにおいて、地理的に制限されたコンテンツへのアクセスとオンライン匿名性を維持するための重要なツールでもあります。

操作ガイド

組み込みプロキシの使用

スクレイピングブラウザの組み込みプロキシを使用すると、管理された住宅用プロキシを介してトラフィックがルーティングされます。

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const { browserWSEndpoint } = client.browser.create({
  session_name: 'sdk_test',
  session_ttl: 180,
  proxy_country: 'ANY',
  session_recording: true,
});
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await puppeteer.connect({browserWSEndpoint: connectionURL});
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

const { chromium } = require('playwright-core');
const connectionURL = 'wss://browser.scrapeless.com/browser?token=APIKey&session_ttl=180&proxy_country=ANY';
 
(async () => {
  const browser = await chromium.connectOverCDP(connectionURL);
  const page = await browser.newPage();
  await page.goto('https://www.scrapeless.com');
  console.log(await page.title());
  await browser.close();
})();

プロキシの地理位置（国別）

当社の組み込みプロキシは195カ国をサポートしています。詳細については、Scrapelessプロキシのドキュメントをご覧ください。Scrapelessプロキシドキュメント

カスタムプロキシ

独自のプロキシサービス/プロバイダーを使用する場合は、セッション作成時に次のパラメーターを指定できます。独自のプロキシプロバイダーを使用する場合は、プロキシ使用料金は請求されません。

💡カスタムプロキシ機能は、現在、EnterpriseおよびEnterprise Plusサブスクライバーのみが利用できます。アップグレードはこちら
💡エンタープライズレベルのカスタムユーザーは、カスタムプロキシを使用するためにお問い合わせください。

const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
 
const proxyUrl = client.proxies.proxy({
  country: 'US',
  sessionDuration: 30,
  sessionId: 'test-session-123',
  gateway: 'gate.smartproxy.com:7000'
});
 
(async () => {
  const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
  const page = await browser.newPage();
  await page.goto('API_URL');
  await browser.close();
})();

const puppeteer = require('puppeteer-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await puppeteer.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})();

const { chromium } = require('playwright-core');
 
(async () => {
  try {
    const proxyUrl = 'http://gw-us.scrapeless.com:8789';
    const username = 'username';
    const password = 'password';
    const browser = await chromium.launch({ args: [`--proxy-server=${proxyUrl}`], headless: false });
    const page = await browser.newPage();
    await page.authenticate({ username, password });
    await page.goto('API_URL');
    await browser.close();
  } catch (e) {
    console.log(e)
  }
})()

Scrapelessプロキシサービスは別途購入することもできます。

プロキシプレイグラウンド： https://app.scrapeless.com/scrapelessteam/products/proxy/channel-list

プロキシドキュメント： https://docs.scrapeless.com/en/proxies/features/proxy/

キャプチャ解決 Browser Use