快速开始:发起你的第一个 Scrapeless 请求
通过使用 Web Unlocker 获取页面来发起你的第一个 Scrapeless 请求。本示例使用 cURL,并在同一个 HTTP 响应中返回结果,因此你无需安装 SDK 或轮询任务即可开始。
开始之前
你需要一个可以访问 Web Unlocker 的 Scrapeless 账户、足够的可用余额来完成请求,以及本地终端中的 cURL。下面的命令在 macOS 或 Linux 上使用 Bash 或 Zsh。
想要浏览器自动化、AI 答案或搜索结果?你可以直接前往选择合适的产品。
1. 获取你的 API 密钥
登录 Scrapeless 控制台,打开 API 密钥设置,并复制你的密钥。有关存储和安全指南,请参阅获取并保护你的 API 密钥。
在终端中运行以下命令。在隐藏的提示符处粘贴密钥,然后按 Enter:
printf 'Scrapeless API key: '
read -rs SCRAPELESS_API_KEY
printf '\n'
export SCRAPELESS_API_KEY该变量可供从此终端启动的命令使用。在新的终端会话中需要重复此步骤。
2. 发送请求
复制并运行:
curl --silent --show-error \
--request POST 'https://api.scrapeless.com/api/v2/unlocker/request' \
--header "x-api-token: ${SCRAPELESS_API_KEY:?Set SCRAPELESS_API_KEY first}" \
--header 'Content-Type: application/json' \
--data '{
"actor": "unlocker.webunlocker",
"input": {
"url": "https://example.com/",
"method": "GET",
"redirect": false
},
"proxy": {
"country": "ANY"
}
}' \
--output scrapeless-response.json \
--write-out 'HTTP status: %{http_code}\n'这会将响应体保存到 scrapeless-response.json 并打印 HTTP 状态码。该命令不会跟随 API 重定向,也不会自动重试请求。
| 字段 | 作用 |
|---|---|
x-api-token | 使用你的 Scrapeless API 密钥对请求进行身份验证。 |
actor | 通过其 API 标识符 unlocker.webunlocker 选择 Web Unlocker。 |
input.url | 设置要获取的页面。 |
input.method | 设置用于目标页面的方法。对 Scrapeless 本身的请求使用 POST。 |
input.redirect | 控制是否跟随来自目标页面的重定向。 |
proxy.country | 当你不需要特定代理国家/地区时,使用 ANY。 |
有关端点约定,请参阅 Web Unlocker API 参考。
3. 检查结果
cat scrapeless-response.json成功的响应使用带有 code 和 data 的 JSON 信封。以下是简化的示意,并非实际记录的响应:
{
"code": 200,
"data": "<!doctype html><html>...Example Domain...</html>"
}对于本示例,请检查 HTTP 状态码为 200、响应 code 为 200,并且 data 包含所请求的页面内容。仅仅保存了文件并不能证明请求成功。
当你能够在返回内容中识别出 Example Domain 页面时,你的第一个请求就完成了。
4. 使用你自己的 URL
将 input.url 替换为你想获取的页面,然后再次发送请求。如果目标发生重定向,可根据需要将 input.redirect 设置为 true。
上面的示例未启用 JavaScript 渲染。对于由脚本加载的内容,请参阅 JavaScript 渲染指南。如需托管的网站抓取或交互式浏览器会话,请改用相应的产品指南。
如果请求失败
| 症状 | 需要检查的内容 |
|---|---|
Shell 要求你设置 SCRAPELESS_API_KEY | 在同一个终端中运行步骤 1。 |
| 身份验证错误 | 检查密钥是否为最新且完整。在 x-api-token 中发送其原始值,不要带 Bearer 前缀。 |
| 访问或余额错误 | 在控制台中检查 Web Unlocker 访问权限和可用余额。 |
| 无效请求错误 | 将 JSON 和 actor 标识符与示例进行对比。阅读响应体以了解被拒绝的字段。 |
| 成功的响应中缺少预期内容 | 检查目标 URL、重定向,以及是否需要 JavaScript 渲染。 |
| 网络错误或超时 | 重试前检查网络连接和目标 URL。避免反复重新提交未做改动的失败请求。 |
寻求帮助时,请提供端点、时间、HTTP 状态码以及一份已脱敏的错误响应。请移除你的 API 密钥和敏感的目标数据。
后续步骤
选择适合你工作流程的产品和接口:
- 为你的实际工作流程选择合适的产品。
- 在连接已部署的应用之前,先保护你的 API 密钥。
- 继续阅读 Web Unlocker 指南。
- 对于特定来源的数据,请使用 Google Search API、Amazon Scraper 或 TikTok Scraper。
- 更喜欢终端工作流程?Scrapeless CLI 即将推出。其指南将涵盖安装、配置和命令。
- 更喜欢 SDK?从 Node.js 开始。Python 和 Go SDK 即将推出。
实验完成后,从此终端环境中移除密钥:
unset SCRAPELESS_API_KEY这会清除本地变量;它不会吊销密钥。