適切な製品を選ぶ
アプリケーションが完了させる必要がある作業とその結果から始めましょう。ブラウザセッション、ページコンテンツ、AIの回答、検索結果はそれぞれ異なる出発点を必要とします。
タスクと照らし合わせる
| あなたのタスク | 始めるにあたって | あなたが提供するもの | 扱うもの |
|---|---|---|---|
| サイトをナビゲートし、フォームに入力し、要素をクリック、またはセッションベースのワークフローを実行する | Agent Browser | ブラウザ自動化コードとセッション設定 | コードで制御されるブラウザセッション |
| 1ページ、ページのリスト、またはサイトにまたがるリンクされたページを収集する | クローリング | URLおよびスクレイピングまたはクロールのオプション | Markdown、HTML、リンクなど選択された形式のページコンテンツ |
| サポートされているAIエンジンから回答と利用可能な引用を収集する | AI Scraper | エンジンの選択、プロンプト、およびサポートされているパラメータ | そのエンジンによるタスク完了結果 |
| 管理されたアクセス処理付きのURLからコンテンツを取得する | Web Unlocker | 対象のURLおよびリクエストまたはレンダリングオプション | アプリケーション内で解析または処理するコンテンツ |
| すでに実行しているコレクターやブラウザにIPルーティングを追加する | Proxies | あなたのトラフィックとプロキシ設定 | 選択されたプロキシネットワークを通じてルーティングされたリクエスト |
| Google検索結果を取得する | Scraping API: Google Search API | クエリと検索パラメータ | 構造化された検索結果 |
| Amazonからデータを収集する | Scraping API: Amazon Scraper | 選択したAmazonスクレイピングアクションの入力 | 構造化されたAmazonデータ |
| TikTokからデータを収集する | Scraping API: TikTok Scraper | 選択したTikTokスクレイピングアクションの入力 | 構造化されたTikTokデータ |
| AIエージェントに複数のScrapeless製品を呼び出させる | Scrapeless MCP | MCPクライアントを通じて発行されたタスク | 選択された製品ツールからの結果 |
類似のオプションの間で選択する
Agent BrowserまたはCrawl？
プログラムがブラウザ内で次に何を行うかを決定する必要がある場合に、 Agent Browser を選択してください。たとえば、要素の検査、クリック後のナビゲーション、認証済みワークフローの継続などです。
推奨する製品は Crawl です。URLsとオプションで収集処理を指定できる場合に適しています。たとえば、検索パイプライン用のドキュメントページの収集には通常Crawlを使用し、複数手順からなるポータルの操作を自動化する場合にはAgent Browserを使用します。
CrawlまたはWeb Unlocker？
推奨する製品は Crawl です。管理されたコンテンツ収集ワークフローが必要な場合、特にURLの一覧を処理したり、サイト全体でリンク先のページを検出したりする場合に適しています。
推奨する製品は Web Unlocker です。アプリケーション側でリクエスト先のURLとレスポンスの処理方法を決めている場合に適しています。JavaScriptレンダリングのオプションでは、リクエスト単位の命令や出力形式も指定できます。選択基準は管理するワークフローであり、単にページがJavaScriptを使用しているかどうかではありません。
Web UnlockerまたはProxies？
コンテンツリクエストに加えて、サポートされるアクセス処理を委任したい場合は、 Web Unlocker を選択してください。
推奨する製品は Proxies です。既存のブラウザやHTTPクライアントを引き続き使用し、レンダリング、解析、再試行のロジックを自分で管理する場合に適しています。プロキシはトラフィックを中継し、ページの収集方法と解釈方法はアプリケーション側で決定します。
AI ScraperまたはScraping API？
入力がプロンプトであり、ChatGPT や Perplexity などのサポート対象AIエンジンから回答を得たい場合は、 AI Scraper を選択してください。
推奨する製品は Scraping API です。Google Search、Amazon、TikTokから構造化データを取得する場合に適しています。必要なソースに応じて、 Google Search API、 Amazon Scraper、 TikTok Scraper から開始してください。AIの回答を取得する場合は、対応するAI Scraperエンジンのガイドとサポートされるフィールドを確認してください。
Amazon Scraper はScraping APIに属しています。 Amazon Alexaは、異なる目的を持つAIエンジンのオプションとして、AI Scraperの下にリストされています。
エンジンおよびスクレイパーのサポートは各ガイドに固有です。構築を始める前に、必要なソースとフィールドがドキュメント化されていることを確認してください。
統合方法を選択
製品を選択した後、アプリケーションに合ったインターフェースを選んでください：
| 構築方法 | 出発点 |
|---|---|
| 任意の言語から直接エンドポイントを呼び出したい場合 | API リファレンス |
| Node.jsまたはTypeScriptを使用し、SDKメソッドを希望する場合 | Node.js SDK |
| Pythonを使用し、SDKメソッドを希望する場合 | Python SDK |
| Goを使用し、SDKメソッドを希望する場合 | Go SDK |
| AIエージェントにサポートされているScrapelessツールを呼び出させたい場合 | Scrapeless MCP |
| コマンドラインインターフェースを好む | ScrapelessCLI — 近日公開 |
| 既存のワークフローまたはエージェントツールを接続したい | 統合カタログ |
PythonおよびGo用SDKは開発中です。CLIも「近日登場」の予約エントリとしています。これらのSDKの準備が整うまでは、REST APIをこれらの言語から直接呼び出すことができます。
SDKまたはMCPサーバーは、サポートされている機能へのインターフェースを提供します。選択した製品に対して、現在利用可能なメソッドまたはツールを確認してください。
代表的な小さなタスクを試してみる
1つのURL、1つのプロンプト、または1つの検索クエリから始めましょう。より大きなジョブに拡大する前に、返されたフィールドと結果が要件を満たしているか確認してください。
基本的な認証とリクエストの流れをまず学びたい場合は、プラットフォームの クイックスタートに従ってください。