文档开始使用快速入门

快速开始:发起你的第一个 Scrapeless 请求

通过使用 Web Unlocker 获取页面来发起你的第一个 Scrapeless 请求。本示例使用 cURL,并在同一个 HTTP 响应中返回结果,因此你无需安装 SDK 或轮询任务即可开始。

开始之前

你需要一个可以访问 Web Unlocker 的 Scrapeless 账户、足够的可用余额来完成请求,以及本地终端中的 cURL。下面的命令在 macOS 或 Linux 上使用 Bash 或 Zsh。

想要浏览器自动化、AI 答案或搜索结果?你可以直接前往选择合适的产品。

1. 获取你的 API 密钥

登录 Scrapeless 控制台,打开 API 密钥设置,并复制你的密钥。有关存储和安全指南,请参阅获取并保护你的 API 密钥。

在终端中运行以下命令。在隐藏的提示符处粘贴密钥,然后按 Enter:

printf 'Scrapeless API key: '
read -rs SCRAPELESS_API_KEY
printf '\n'
export SCRAPELESS_API_KEY

该变量可供从此终端启动的命令使用。在新的终端会话中需要重复此步骤。

2. 发送请求

复制并运行:

curl --silent --show-error \
  --request POST 'https://api.scrapeless.com/api/v2/unlocker/request' \
  --header "x-api-token: ${SCRAPELESS_API_KEY:?Set SCRAPELESS_API_KEY first}" \
  --header 'Content-Type: application/json' \
  --data '{
    "actor": "unlocker.webunlocker",
    "input": {
      "url": "https://example.com/",
      "method": "GET",
      "redirect": false
    },
    "proxy": {
      "country": "ANY"
    }
  }' \
  --output scrapeless-response.json \
  --write-out 'HTTP status: %{http_code}\n'

这会将响应体保存到 scrapeless-response.json 并打印 HTTP 状态码。该命令不会跟随 API 重定向,也不会自动重试请求。

字段作用
x-api-token使用你的 Scrapeless API 密钥对请求进行身份验证。
actor通过其 API 标识符 unlocker.webunlocker 选择 Web Unlocker。
input.url设置要获取的页面。
input.method设置用于目标页面的方法。对 Scrapeless 本身的请求使用 POST。
input.redirect控制是否跟随来自目标页面的重定向。
proxy.country当你不需要特定代理国家/地区时,使用 ANY。

有关端点约定,请参阅 Web Unlocker API 参考。

3. 检查结果

cat scrapeless-response.json

成功的响应使用带有 code 和 data 的 JSON 信封。以下是简化的示意,并非实际记录的响应:

{
  "code": 200,
  "data": "<!doctype html><html>...Example Domain...</html>"
}

对于本示例,请检查 HTTP 状态码为 200、响应 code 为 200,并且 data 包含所请求的页面内容。仅仅保存了文件并不能证明请求成功。

当你能够在返回内容中识别出 Example Domain 页面时,你的第一个请求就完成了。

4. 使用你自己的 URL

将 input.url 替换为你想获取的页面,然后再次发送请求。如果目标发生重定向,可根据需要将 input.redirect 设置为 true。

上面的示例未启用 JavaScript 渲染。对于由脚本加载的内容,请参阅 JavaScript 渲染指南。如需托管的网站抓取或交互式浏览器会话,请改用相应的产品指南。

如果请求失败

症状需要检查的内容
Shell 要求你设置 SCRAPELESS_API_KEY在同一个终端中运行步骤 1。
身份验证错误检查密钥是否为最新且完整。在 x-api-token 中发送其原始值,不要带 Bearer 前缀。
访问或余额错误在控制台中检查 Web Unlocker 访问权限和可用余额。
无效请求错误将 JSON 和 actor 标识符与示例进行对比。阅读响应体以了解被拒绝的字段。
成功的响应中缺少预期内容检查目标 URL、重定向,以及是否需要 JavaScript 渲染。
网络错误或超时重试前检查网络连接和目标 URL。避免反复重新提交未做改动的失败请求。

寻求帮助时,请提供端点、时间、HTTP 状态码以及一份已脱敏的错误响应。请移除你的 API 密钥和敏感的目标数据。

后续步骤

选择适合你工作流程的产品和接口:

实验完成后,从此终端环境中移除密钥:

unset SCRAPELESS_API_KEY

这会清除本地变量;它不会吊销密钥。