选择合适的产品
从你需要完成的工作以及应用程序所需的结果出发。浏览器会话、页面内容、AI 回答和搜索结果各自对应不同的起点。
匹配你的任务
| 你的任务 | 从这里开始 | 你需要提供 | 你将获得 |
|---|---|---|---|
| 浏览站点、填写表单、点击元素,或运行基于会话的工作流 | Agent Browser | 浏览器自动化代码和会话配置 | 一个由你的代码控制的浏览器会话 |
| 采集单个页面、页面列表,或网站中相互链接的页面 | Crawl | URL 以及抓取或爬取选项 | 以所选格式呈现的页面内容,例如 Markdown、HTML 和链接 |
| 从受支持的 AI 引擎收集回答及可用的引用来源 | AI Scraper | 引擎选择、提示词和受支持的参数 | 该引擎已完成的任务结果 |
| 通过受管理的访问处理从 URL 检索内容 | Web Unlocker | 目标 URL 以及请求或渲染选项 | 供你的应用程序解析或处理的内容 |
| 为你已在运行的采集器或浏览器添加 IP 路由 | Proxies | 你的流量和代理配置 | 通过所选代理网络路由的请求 |
| 获取 Google search 结果 | Scraping API: Google Search API | 查询词和搜索参数 | 结构化的搜索结果 |
| 从 Amazon 采集数据 | Scraping API: Amazon Scraper | 所选 Amazon 抓取操作的输入 | 结构化的 Amazon 数据 |
| 从 TikTok 采集数据 | Scraping API: TikTok Scraper | 所选 TikTok 抓取操作的输入 | 结构化的 TikTok 数据 |
| 让 AI agent 调用多个 Scrapeless 产品 | Scrapeless MCP | 通过 MCP 客户端下发的任务 | 来自所选产品工具的结果 |
在相似选项之间做出决定
选 Agent Browser 还是 Crawl?
当你的程序需要在浏览器内决定下一步操作时,请选择 Agent Browser:检查某个元素、点击后进行导航,或继续一个已认证的工作流。
当你可以用 URL 和选项来描述采集任务时,请选择 Crawl。例如,为检索管线收集文档页面通常从 Crawl 开始;而自动化一个多步骤的门户工作流则从 Agent Browser 开始。
选 Crawl 还是 Web Unlocker?
对于受管理的内容采集工作流,尤其是当你需要处理 URL 列表或发现站点中相互链接的页面时,请选择 Crawl。
当你的应用程序已经决定请求哪个 URL 以及如何处理响应时,请选择 Web Unlocker。它的 JavaScript 渲染选项还支持请求级指令和输出格式。这个选择关乎你想要管理的工作流,而不仅仅是页面是否使用 JavaScript。
选 Web Unlocker 还是 Proxies?
如果想将受支持的访问处理与内容请求一并委托出去,请选择 Web Unlocker。
如果你希望保留现有的浏览器或 HTTP 客户端,并自行管理其渲染、解析和重试逻辑,请选择 Proxies。代理负责路由流量;你的应用程序仍然决定如何采集和解读页面。
选 AI Scraper 还是 Scraping API?
当你的输入是一段提示词,并且希望从受支持的 AI 引擎(例如 ChatGPT 或 Perplexity)获得回答时,请选择 AI Scraper。
当你希望从 Google Search、Amazon 或 TikTok 获取结构化数据时,请选择 Scraping API。针对你所需的来源,从 Google Search API、Amazon Scraper 或 TikTok Scraper 开始。若需要 AI 回答体验,请查看相应的 AI Scraper 引擎指南及其支持的字段。
Amazon Scraper 属于 Scraping API。列在 AI Scraper 下的 Amazon Alexa 则是一个用途不同的 AI 引擎选项。
引擎和抓取器的支持情况因各自指南而异。在围绕它们进行构建之前,请确认你所需的来源和字段已有文档记录。
选择你的集成方式
在选定产品后,请选择适合你应用程序的接口:
| 你的构建方式 | 起点 |
|---|---|
| 你希望用任意语言直接调用端点 | API Reference |
| 你使用 Node.js 或 TypeScript,并希望使用 SDK 方法 | Node.js SDK |
| 你使用 Python,并希望使用 SDK 方法 | Python SDK |
| 你使用 Go,并希望使用 SDK 方法 | Go SDK |
| 你希望让 AI agent 调用受支持的 Scrapeless 工具 | Scrapeless MCP |
| 你更倾向于使用命令行界面 | Scrapeless CLI —— 即将推出 |
| 你希望连接现有的工作流或 agent 工具 | Integrations catalog |
Python 和 Go SDK 正在开发中。CLI 同样作为“即将推出”的条目预留。在这些 SDK 准备就绪期间,你可以直接从这两种语言调用 REST API。
SDK 或 MCP 服务器为受支持的能力提供接口。请针对你所选的产品核实其当前的方法或工具。
尝试一个小型的代表性任务
从一个 URL、一个提示词或一个搜索查询开始。先检查返回的字段以及结果是否满足你的需求,然后再扩展到更大规模的任务。
如果你想先了解基本的身份验证和请求流程,请参阅平台的 Quickstart。