Scrapeless Skills
Scrapeless Skills 让你的 AI 编程助手通过自然语言指令使用 Scrapeless。你可以提取网页、跨网站采集内容、查询 AI 平台、操作云浏览器、生成代理 URL,或获取结构化的 Google 搜索、Amazon 和 TikTok 数据。
每个 skill 都包含任务说明,以及执行该任务所需的参考资料或脚本。你的助手必须支持 Agent Skills,并且能够执行本地命令。
可用的 skills
| Skill | 用途 |
|---|---|
web-unlocker | 以 HTML、Markdown、纯文本或其他支持的格式提取单个网页,包括 JavaScript 渲染的页面。 |
crawl | 采集多个页面,支持页面数量限制、深度控制、路径过滤和输出格式设置。 |
ai-scraper | 从 ChatGPT、Gemini、Copilot、Perplexity、Grok、Alexa、Google AI Mode 和 Google AI Overview 采集回答及可用的引用来源。 |
agent-browser | 在云浏览器会话中浏览页面、点击元素、填写表单、检查页面快照并截取屏幕截图。 |
proxy | 生成带身份验证的住宅、IPv6 或数据中心代理 URL,支持位置和会话设置。 |
scraping-api | 获取结构化的 Google 搜索、Amazon 和 TikTok 数据。 |
单页提取请使用 Web Unlocker,多页采集请使用 Crawl,需要持续交互的工作流请使用 Agent Browser。获取 AI 生成的回答请使用 AI Scraper,获取标准 Google 搜索结果或受支持的 Amazon 和 TikTok 数据集请使用 Scraping API。
快速开始
1. 准备环境
你需要:
- Node.js 22.20 或更高版本以及 npm,用于执行下方的安装流程。
- 支持 Agent Skills 和本地命令执行的 AI 编程助手。
- Scrapeless 账户,以及从控制台获取的 API 密钥。
- 能够访问所选 skills 使用的服务的网络。Agent Browser 首次使用时还会从 npm 和 GitHub Releases 下载依赖。
检查 Node.js 并安装 Scrapeless CLI:
node --version
npm install -g scrapeless
scrapeless --version其中五个 skills 依赖 CLI。scraping-api skill 使用其自带的 Node.js 脚本,无需全局安装 CLI。
2. 安装 skills
在项目目录中运行:
npx skills add scrapeless-ai/scrapeless-skills按照提示选择要安装的 skills 和目标助手。
仅安装单个 skill:
npx skills add scrapeless-ai/scrapeless-skills --skill web-unlocker全局安装,以便在所有项目中使用:
npx skills add scrapeless-ai/scrapeless-skills -g支持的助手和安装选项请参阅 Skills 安装器文档。
3. 配置 API 密钥
从 Scrapeless 控制台复制你的 API 密钥。将 YOUR_API_TOKEN 替换为你的密钥,并在本地运行以下命令:
scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status默认配置文件为 ~/.scrapeless/config.json。CLI、自带的 Scraping API 脚本和云浏览器都可以使用这份共享配置。
如需通过环境变量配置,请在 Bash 或 Zsh 中使用:
export SCRAPELESS_API_KEY='YOUR_API_TOKEN'请从该 shell 启动助手,使其继承此变量。单独启动的助手(包括从桌面应用启动的助手)需要单独配置环境变量,或能够访问已保存的配置文件。
如果你只安装了 scraping-api,可以直接使用环境变量而无需安装 CLI。上面的 config 和 auth 命令需要 CLI。
请勿将密钥写入聊天提示词、共享文件或日志中。凭据处理建议请参阅获取并保护你的 API 密钥。
4. 运行第一个任务
向你的助手提问:
使用 web-unlocker skill 将 https://example.com 提取为 Markdown,
并将内容保存到 page.md。如果你的助手支持通过 $skill-name 显式调用,也可以这样写:
使用 $web-unlocker 将 https://example.com 提取为 Markdown,
并将内容保存到 page.md。请检查助手报告的结果和生成的文件。安装成功本身并不代表数据请求已经完成。
任务示例
请指定目标 URL 或平台、范围以及你需要的输出。将示例中的 URL 和搜索词替换为你自己的输入。
提取网页
使用 web-unlocker skill 将 https://example.com 提取为 Markdown。
将提取的内容保存到 page.md。Web Unlocker 支持单页提取,无需维持交互式浏览器会话。JavaScript 渲染默认开启。
爬取网站
使用 crawl skill 从 https://example.com 采集最多 10 个页面。
保持外部链接禁用,仅将正文内容提取为 Markdown,
并将爬取结果保存到 crawl.json。页面内容可以是 Markdown,而整体爬取结果仍为 JSON。如需缩小采集范围,请设置页面数量限制和路径过滤。
采集 AI 回答
使用 ai-scraper skill 向 ChatGPT 提问:
"网页抓取的主要用途有哪些?"
将完整回答保存为 JSON,并保留返回的所有引用来源。可用的字段和选项因平台而异。完整的 JSON 输出会保留结构化字段;CLI 默认输出则提取 Markdown。只有当服务返回引用来源时,结果中才会包含引用。
自动化浏览器
使用 agent-browser skill 创建一个云浏览器会话,
打开 https://example.com,检查页面,并将截图保存到 page.png。
完成后关闭会话。对于交互式任务,助手会使用当前页面快照中的元素引用,并在整个工作流中保持同一个会话 ID。
生成代理 URL
使用 proxy skill 通过亚太网关生成一个美国住宅代理 URL。
将其保存到名为 proxy.txt 的本地私有文件中,并在总结中隐藏密码。代理 URL 在本地生成。该过程不会测试连通性、验证 API 密钥或确认可用余额。生成的 URL 包含凭据。
获取结构化数据
使用 scraping-api skill 在 Google 上搜索 "coffee",
参数为 hl=en 和 gl=us。将完整的 JSON 响应保存到 google-results.json。同一个 skill 还支持 Amazon 和 TikTok 数据集。例如:
使用 scraping-api skill 在 Amazon.com 上搜索 "coffee",
使用 keywords 请求类型和第 1 页。保存 JSON 响应。助手会使用该 skill 自带的 scripts/scrape.mjs 文件和相应的输入参考。脚本路径必须解析到已安装的 skill 目录内。
配置
凭据优先级
CLI 和自带的 Scraping API 脚本按以下顺序读取凭据:
- 配置文件中的
apiKey,同时兼容旧版的api_token字段。 SCRAPELESS_API_TOKEN。SCRAPELESS_API_KEY。
已保存的密钥优先于环境变量。切换账户时,请先更新或删除已保存的密钥,再使用其他环境变量中的密钥:
scrapeless config remove api_token使用 scrapeless config path 定位配置文件,使用 scrapeless config list 查看已脱敏的设置。
SCRAPELESS_CONFIG_PATH 会覆盖 CLI 和自带脚本的配置路径,但不会更改云浏览器自身的默认配置路径。请使用共享的默认文件,以确保六个 skills 的凭据保持一致。
使用 .env 文件
CLI 和自带脚本不会自动加载 .env。如果你维护了一个包含 SCRAPELESS_API_KEY 的 .env 文件,请在启动助手之前加载它。在 Bash 或 Zsh 中:
set -a
. ./.env
set +a请勿将 .env 纳入版本控制。
长时间运行的任务
AI Scraper、Crawl 和 Scraping API 可能会在结果就绪之前返回任务 ID。请保留该 ID 并获取已有任务的结果,而不是重复提交相同的请求。
对于基于 CLI 的任务,将 TASK_ID 替换为返回的 ID:
scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --json请使用创建该 AI 任务时所用的平台。对于 AI Scraper,请确认状态为 success;对于 Crawl,请确认状态为 completed。轮询超时时可能返回未完成的响应且退出码为 0,因此请检查状态和内容。
如需恢复 Scraping API 任务,请在已安装的 scraping-api skill 目录中运行以下命令,或将脚本路径替换为其绝对路径:
node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180轮询超时时,脚本会以退出码 1 退出,并在可用时附带任务 ID。客户端超时不会取消服务端任务。
故障排除
| 问题 | 检查内容 |
|---|---|
| 助手找不到 skill | 确认已为正确的助手和作用域安装该 skill。使用 npx skills list 查看已安装的 skills,并参阅安装器文档了解作用域选项。 |
找不到 scrapeless | 安装 CLI,并确保助手可以通过其 PATH 访问 npm 可执行文件目录。 |
| 缺少密钥或 HTTP 401/403 | 检查已保存的配置和环境变量。如果已安装 CLI,请运行 scrapeless auth status。 |
.env 文件不生效 | 显式加载该文件,并从已配置的环境中启动助手。 |
| 首次使用时浏览器安装失败 | 检查对 npm 和 GitHub Releases 的访问,以及对浏览器缓存的写入权限。即使是 scrapeless browser --help 也可能触发安装。 |
| 任务仍处于等待状态 | 保留其任务 ID 并恢复获取。在将任务视为已完成之前,请检查返回的状态。 |
| 找不到 Scraping API 脚本 | 确认已安装完整的 skill 目录。请相对于该目录(而不是你的项目目录)解析 scripts/scrape.mjs。 |
手动安装时,请复制每个 skill 的完整目录,包括 scripts/、references/ 和 agents/ 等子目录。仅复制 SKILL.md 可能会遗漏必需的文件。