Scrapeless Skills

Scrapeless Skills 让你的 AI 编程助手通过自然语言指令使用 Scrapeless。你可以提取网页、跨网站采集内容、查询 AI 平台、操作云浏览器、生成代理 URL,或获取结构化的 Google 搜索、Amazon 和 TikTok 数据。

每个 skill 都包含任务说明,以及执行该任务所需的参考资料或脚本。你的助手必须支持 Agent Skills,并且能够执行本地命令。

查看 Skills 仓库

可用的 skills

Skill用途
web-unlocker以 HTML、Markdown、纯文本或其他支持的格式提取单个网页,包括 JavaScript 渲染的页面。
crawl采集多个页面,支持页面数量限制、深度控制、路径过滤和输出格式设置。
ai-scraper从 ChatGPT、Gemini、Copilot、Perplexity、Grok、Alexa、Google AI Mode 和 Google AI Overview 采集回答及可用的引用来源。
agent-browser在云浏览器会话中浏览页面、点击元素、填写表单、检查页面快照并截取屏幕截图。
proxy生成带身份验证的住宅、IPv6 或数据中心代理 URL,支持位置和会话设置。
scraping-api获取结构化的 Google 搜索、Amazon 和 TikTok 数据。

单页提取请使用 Web Unlocker,多页采集请使用 Crawl,需要持续交互的工作流请使用 Agent Browser。获取 AI 生成的回答请使用 AI Scraper,获取标准 Google 搜索结果或受支持的 Amazon 和 TikTok 数据集请使用 Scraping API。

快速开始

1. 准备环境

你需要:

  • Node.js 22.20 或更高版本以及 npm,用于执行下方的安装流程。
  • 支持 Agent Skills 和本地命令执行的 AI 编程助手。
  • Scrapeless 账户,以及从控制台获取的 API 密钥。
  • 能够访问所选 skills 使用的服务的网络。Agent Browser 首次使用时还会从 npm 和 GitHub Releases 下载依赖。

检查 Node.js 并安装 Scrapeless CLI:

node --version
npm install -g scrapeless
scrapeless --version

其中五个 skills 依赖 CLI。scraping-api skill 使用其自带的 Node.js 脚本,无需全局安装 CLI。

2. 安装 skills

在项目目录中运行:

npx skills add scrapeless-ai/scrapeless-skills

按照提示选择要安装的 skills 和目标助手。

仅安装单个 skill:

npx skills add scrapeless-ai/scrapeless-skills --skill web-unlocker

全局安装,以便在所有项目中使用:

npx skills add scrapeless-ai/scrapeless-skills -g

支持的助手和安装选项请参阅 Skills 安装器文档。

3. 配置 API 密钥

从 Scrapeless 控制台复制你的 API 密钥。将 YOUR_API_TOKEN 替换为你的密钥,并在本地运行以下命令:

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

默认配置文件为 ~/.scrapeless/config.json。CLI、自带的 Scraping API 脚本和云浏览器都可以使用这份共享配置。

如需通过环境变量配置,请在 Bash 或 Zsh 中使用:

export SCRAPELESS_API_KEY='YOUR_API_TOKEN'

请从该 shell 启动助手,使其继承此变量。单独启动的助手(包括从桌面应用启动的助手)需要单独配置环境变量,或能够访问已保存的配置文件。

如果你只安装了 scraping-api,可以直接使用环境变量而无需安装 CLI。上面的 config 和 auth 命令需要 CLI。

请勿将密钥写入聊天提示词、共享文件或日志中。凭据处理建议请参阅获取并保护你的 API 密钥。

4. 运行第一个任务

向你的助手提问:

使用 web-unlocker skill 将 https://example.com 提取为 Markdown,
并将内容保存到 page.md。

如果你的助手支持通过 $skill-name 显式调用,也可以这样写:

使用 $web-unlocker 将 https://example.com 提取为 Markdown,
并将内容保存到 page.md。

请检查助手报告的结果和生成的文件。安装成功本身并不代表数据请求已经完成。

任务示例

请指定目标 URL 或平台、范围以及你需要的输出。将示例中的 URL 和搜索词替换为你自己的输入。

提取网页

使用 web-unlocker skill 将 https://example.com 提取为 Markdown。
将提取的内容保存到 page.md。

Web Unlocker 支持单页提取,无需维持交互式浏览器会话。JavaScript 渲染默认开启。

爬取网站

使用 crawl skill 从 https://example.com 采集最多 10 个页面。
保持外部链接禁用,仅将正文内容提取为 Markdown,
并将爬取结果保存到 crawl.json。

页面内容可以是 Markdown,而整体爬取结果仍为 JSON。如需缩小采集范围,请设置页面数量限制和路径过滤。

采集 AI 回答

使用 ai-scraper skill 向 ChatGPT 提问:
"网页抓取的主要用途有哪些?"
将完整回答保存为 JSON,并保留返回的所有引用来源。

可用的字段和选项因平台而异。完整的 JSON 输出会保留结构化字段;CLI 默认输出则提取 Markdown。只有当服务返回引用来源时,结果中才会包含引用。

自动化浏览器

使用 agent-browser skill 创建一个云浏览器会话,
打开 https://example.com,检查页面,并将截图保存到 page.png。
完成后关闭会话。

对于交互式任务,助手会使用当前页面快照中的元素引用,并在整个工作流中保持同一个会话 ID。

生成代理 URL

使用 proxy skill 通过亚太网关生成一个美国住宅代理 URL。
将其保存到名为 proxy.txt 的本地私有文件中,并在总结中隐藏密码。

代理 URL 在本地生成。该过程不会测试连通性、验证 API 密钥或确认可用余额。生成的 URL 包含凭据。

获取结构化数据

使用 scraping-api skill 在 Google 上搜索 "coffee",
参数为 hl=en 和 gl=us。将完整的 JSON 响应保存到 google-results.json。

同一个 skill 还支持 Amazon 和 TikTok 数据集。例如:

使用 scraping-api skill 在 Amazon.com 上搜索 "coffee",
使用 keywords 请求类型和第 1 页。保存 JSON 响应。

助手会使用该 skill 自带的 scripts/scrape.mjs 文件和相应的输入参考。脚本路径必须解析到已安装的 skill 目录内。

配置

凭据优先级

CLI 和自带的 Scraping API 脚本按以下顺序读取凭据:

  1. 配置文件中的 apiKey,同时兼容旧版的 api_token 字段。
  2. SCRAPELESS_API_TOKEN。
  3. SCRAPELESS_API_KEY。

已保存的密钥优先于环境变量。切换账户时,请先更新或删除已保存的密钥,再使用其他环境变量中的密钥:

scrapeless config remove api_token

使用 scrapeless config path 定位配置文件,使用 scrapeless config list 查看已脱敏的设置。

SCRAPELESS_CONFIG_PATH 会覆盖 CLI 和自带脚本的配置路径,但不会更改云浏览器自身的默认配置路径。请使用共享的默认文件,以确保六个 skills 的凭据保持一致。

使用 .env 文件

CLI 和自带脚本不会自动加载 .env。如果你维护了一个包含 SCRAPELESS_API_KEY 的 .env 文件,请在启动助手之前加载它。在 Bash 或 Zsh 中:

set -a
. ./.env
set +a

请勿将 .env 纳入版本控制。

长时间运行的任务

AI Scraper、Crawl 和 Scraping API 可能会在结果就绪之前返回任务 ID。请保留该 ID 并获取已有任务的结果,而不是重复提交相同的请求。

对于基于 CLI 的任务,将 TASK_ID 替换为返回的 ID:

scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --json

请使用创建该 AI 任务时所用的平台。对于 AI Scraper,请确认状态为 success;对于 Crawl,请确认状态为 completed。轮询超时时可能返回未完成的响应且退出码为 0,因此请检查状态和内容。

如需恢复 Scraping API 任务,请在已安装的 scraping-api skill 目录中运行以下命令,或将脚本路径替换为其绝对路径:

node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180

轮询超时时,脚本会以退出码 1 退出,并在可用时附带任务 ID。客户端超时不会取消服务端任务。

故障排除

问题检查内容
助手找不到 skill确认已为正确的助手和作用域安装该 skill。使用 npx skills list 查看已安装的 skills,并参阅安装器文档了解作用域选项。
找不到 scrapeless安装 CLI,并确保助手可以通过其 PATH 访问 npm 可执行文件目录。
缺少密钥或 HTTP 401/403检查已保存的配置和环境变量。如果已安装 CLI,请运行 scrapeless auth status。
.env 文件不生效显式加载该文件,并从已配置的环境中启动助手。
首次使用时浏览器安装失败检查对 npm 和 GitHub Releases 的访问,以及对浏览器缓存的写入权限。即使是 scrapeless browser --help 也可能触发安装。
任务仍处于等待状态保留其任务 ID 并恢复获取。在将任务视为已完成之前,请检查返回的状态。
找不到 Scraping API 脚本确认已安装完整的 skill 目录。请相对于该目录(而不是你的项目目录)解析 scripts/scrape.mjs。

手动安装时,请复制每个 skill 的完整目录,包括 scripts/、references/ 和 agents/ 等子目录。仅复制 SKILL.md 可能会遗漏必需的文件。

相关资源