AI Scraper

AI Scraper 收集什么数据？

AI Scraper 收集完整的 AI 响应，包括答案文本、来源、带有 URL 和标签的引用，以及启用后返回的购物卡片或商品卡片。结果以结构化 JSON 格式交付，其中包含解析后的 Markdown 内容。支持的引擎还提供 HTML 输出和 SSE 流式传输，需要单独启用。

可以抓取哪些 AI 引擎？

我们支持大多数主流 AI 聊天平台和大语言模型，包括 ChatGPT、Perplexity、Gemini、Microsoft Copilot、Google AI Mode、Google AI Overview、Grok 和 Alexa。我们正在持续扩大支持范围。如果你需要其他平台的支持，请告诉我们。

一个任务需要多长时间？

我们的 API 通常在 30 秒内返回结构化响应，一般不会超过一分钟，速度与直接使用 AI 平台相当。响应包含 Markdown 内容和引用。AI 平台负载或网络延迟偶尔可能导致超时。

已完成的结果会保留多久？

快速入门中规定，结果保留时间为任务完成后 4 分钟。请使用创建任务时返回的 task_id 及时获取并保存结果，或通过配置的 Webhook 接收端接收结果。

是否支持异步请求？

支持！我们提供异步端点，允许你提交任务并通过 Webhook 接收结果。这非常适合大规模抓取，无需保持连接即可确保可靠性。

一次请求可以返回多个 AI 引擎的结果吗？

不可以。每次请求仅针对一个 AI 引擎。要收集多个引擎的结果，请为每个 actor 单独发送请求。不同抓取器支持的参数有所不同。

支持多少并发请求？

并发限制取决于你的订阅套餐。商业套餐通常提供更高的限制，例如 100 个并发请求。超出限制会返回 HTTP 429 状态码。请使用客户端队列或我们的异步端点管理请求。请提前告知我们你预期的峰值并发量，以便我们推荐合适的套餐，并根据需要快速扩容。

可以获取原始 HTML 吗？

可以。默认情况下，我们返回解析后的结构化 JSON，以保持响应轻量。对于支持的引擎，设置 should_fetch_html: true 即可获取结果页面的完整原始 HTML。如果某个引擎不支持此参数，可以在支持的情况下使用 should_fetch_share_link: true 获取分享链接作为替代方案。

可以从特定地理区域提取数据吗？

可以。只要所选 AI 平台在当地可用，我们就支持全球各国家和地区，并使用标准国际国家代码。如果你需要的地区已获得 AI 平台支持，但 Scrapeless 尚未提供，请告诉我们，以便我们尽快配置支持。

为什么我的任务仍在运行？

在解析响应数据之前，请先查看任务状态。pending 和 running 表示任务尚未完成；success 和 failed 为终态。有关轮询和响应处理，请参阅任务生命周期指南。

如何跟踪任务并接收结果？

请保留创建任务时返回的 task_id。任务完成前可能处于 pending 或 running 状态，最终以 success 或 failed 结束。你可以通过结果端点查询状态，或配置 HTTPS webhook.url，自动接收已完成的任务。

如果我从未获取结果，还会被收费吗？

在五分钟内成功完成并生成结果的任务，即使你的应用从未获取结果，也会被计费。请设置定期重试以获取结果，或配置 Webhook 接收已完成的结果。有关计费帮助，请参阅订阅与计费。