AIスクレイパー

AIスクレイパーは何を収集しますか？

AIスクレイパーは、回答テキスト、ソース、URLとラベルを含む引用、および有効にした場合のショッピングカードや商品カードなど、AIの完全なレスポンスを収集します。結果は、解析済みのMarkdownコンテンツを含む構造化JSONで提供されます。対応するエンジンではHTML出力やSSEストリーミングも利用できますが、個別に有効化する必要があります。

どのAIエンジンをスクレイピングできますか？

ChatGPT、Perplexity、Gemini、Microsoft Copilot、Google AI Mode、Google AI Overview、Grok、Alexaなど、主要なAIチャットプラットフォームやLLMの多くに対応しています。対応範囲は積極的に拡大しています。他のプラットフォームへの対応が必要な場合は、お知らせください。

タスクにはどのくらい時間がかかりますか？

APIは通常30秒以内、おおむね1分以内に構造化レスポンスを返します。速度はAIプラットフォームを直接利用する場合と同程度です。レスポンスにはMarkdownコンテンツと引用が含まれます。AIプラットフォームの負荷やネットワークの遅延により、まれにタイムアウトが発生することがあります。

完了した結果はどのくらい保持されますか？

クイックスタートでは、保持期間は完了後4分間とされています。作成時に返される task_id を使って速やかに結果を取得して保存するか、設定済みのWebhookレシーバーで受信してください。

非同期リクエストに対応していますか？

はい。タスクを送信し、Webhook経由で結果を受信できる非同期エンドポイントを提供しています。大量のスクレイピングに適しており、接続を維持せずに信頼性を確保できます。

1回のリクエストで複数のAIエンジンの結果を取得できますか？

いいえ。各リクエストは1つのAIエンジンを対象とします。複数のエンジンの結果を収集するには、actorごとに個別のリクエストを送信してください。対応するパラメーターはスクレイパーによって異なります。

同時リクエスト数はいくつまで対応していますか？

同時実行数の上限はサブスクリプションプランによって異なります。ビジネスプランでは、通常100件の同時リクエストなど、より高い上限が提供されます。上限を超えるとHTTP 429ステータスコードが返されます。クライアント側のキューや非同期エンドポイントを使ってリクエストを管理してください。想定されるピーク時の同時実行数を事前にお知らせいただければ、適切なプランを提案し、必要に応じて迅速に容量を増やすことができます。

生のHTMLを取得できますか？

はい。デフォルトでは、レスポンスを軽量に保つため、解析済みの構造化JSONを返します。対応するエンジンでは、should_fetch_html: true を設定すると結果ページの完全な生のHTMLを取得できます。このパラメーターに対応していないエンジンでは、対応していれば代わりに should_fetch_share_link: true で共有リンクを取得できます。

特定の地域からデータを抽出できますか？

はい。選択したAIプラットフォームが利用可能な世界各国・地域に対応しており、標準の国際国コードを使用します。AIプラットフォームでは対応していてもScrapelessではまだ利用できない地域が必要な場合は、お知らせください。できるだけ早く対応を設定します。

タスクがまだ実行中のままなのはなぜですか？

ペイロードを解釈する前にタスクステータスを確認してください。pending と running は未完了の状態で、success と failed は終了状態です。ポーリングとレスポンス処理については、タスクライフサイクルガイドを参照してください。

タスクを追跡して結果を受け取るにはどうすればよいですか？

タスク作成時に返される task_id を保持してください。タスクは pending または running の状態を経て、success または failed で終了します。結果エンドポイントでステータスを確認するか、HTTPSの webhook.url を設定して完了したタスクを自動的に受信してください。

結果を一度も取得しなかった場合でも請求されますか？

5分以内に正常に完了して結果が生成されたタスクは、アプリケーションが結果を一度も取得しなくても課金されます。結果取得を定期的に再試行するか、Webhookを設定して完了した結果を受信してください。請求に関するヘルプは、サブスクリプションと請求を参照してください。