Scrapeless Skills

Scrapeless Skills cho phép trợ lý lập trình AI của bạn sử dụng Scrapeless thông qua các chỉ dẫn bằng ngôn ngữ tự nhiên. Bạn có thể trích xuất một trang web, thu thập nội dung trên toàn bộ website, truy vấn các nền tảng AI, tương tác với trình duyệt đám mây, tạo URL proxy hoặc lấy dữ liệu có cấu trúc từ Google Search, Amazon và TikTok.

Mỗi skill bao gồm hướng dẫn cho tác vụ cùng các tài liệu tham khảo hoặc script cần thiết để thực hiện tác vụ đó. Trợ lý của bạn phải hỗ trợ Agent Skills và có khả năng thực thi lệnh cục bộ.

Xem kho lưu trữ Skills

Các skill hiện có

SkillDùng để
web-unlockerTrích xuất một trang web dưới dạng HTML, Markdown, văn bản hoặc định dạng được hỗ trợ khác, bao gồm cả các trang được render bằng JavaScript.
crawlThu thập nhiều trang với giới hạn số trang, kiểm soát độ sâu, bộ lọc đường dẫn và định dạng đầu ra.
ai-scraperThu thập câu trả lời và các trích dẫn có sẵn từ ChatGPT, Gemini, Copilot, Perplexity, Grok, Alexa, Google AI Mode và Google AI Overview.
agent-browserĐiều hướng trang, nhấp vào phần tử, điền biểu mẫu, kiểm tra snapshot của trang và chụp ảnh màn hình trong một phiên trình duyệt đám mây.
proxyTạo URL proxy dân cư, IPv6 hoặc trung tâm dữ liệu có xác thực, với các thiết lập vị trí và phiên.
scraping-apiLấy dữ liệu có cấu trúc từ Google Search, Amazon và TikTok.

Dùng Web Unlocker để trích xuất một trang, Crawl để thu thập nhiều trang và Agent Browser cho các quy trình cần tương tác liên tục. Dùng AI Scraper cho câu trả lời do AI tạo ra và Scraping API cho kết quả Google Search tiêu chuẩn hoặc các bộ dữ liệu Amazon và TikTok được hỗ trợ.

Bắt đầu nhanh

1. Chuẩn bị môi trường

Bạn cần:

  • Node.js 22.20 trở lên và npm để sử dụng quy trình cài đặt bên dưới.
  • Một trợ lý lập trình AI hỗ trợ Agent Skills và thực thi lệnh cục bộ.
  • Một tài khoản Scrapeless và API key từ bảng điều khiển.
  • Quyền truy cập mạng tới các dịch vụ mà skill bạn chọn sử dụng. Agent Browser cũng tải các phụ thuộc từ npm và GitHub Releases trong lần sử dụng đầu tiên.

Kiểm tra Node.js và cài đặt Scrapeless CLI:

node --version
npm install -g scrapeless
scrapeless --version

Năm skill sử dụng CLI. Skill scraping-api dùng script Node.js đi kèm của riêng nó và không yêu cầu cài đặt CLI toàn cục.

2. Cài đặt các skill

Từ thư mục dự án của bạn, chạy:

npx skills add scrapeless-ai/scrapeless-skills

Làm theo hướng dẫn để chọn các skill và trợ lý đích.

Để chỉ cài đặt một skill:

npx skills add scrapeless-ai/scrapeless-skills --skill web-unlocker

Để cài đặt toàn cục và dùng cho mọi dự án:

npx skills add scrapeless-ai/scrapeless-skills -g

Xem tài liệu trình cài đặt Skills để biết các trợ lý được hỗ trợ và tùy chọn cài đặt.

3. Cấu hình API key

Sao chép API key từ bảng điều khiển Scrapeless. Thay YOUR_API_TOKEN bằng key của bạn và chạy các lệnh sau trên máy cục bộ:

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

Tệp cấu hình mặc định là ~/.scrapeless/config.json. CLI, script Scraping API đi kèm và trình duyệt đám mây đều có thể dùng cấu hình dùng chung này.

Để cấu hình bằng biến môi trường, hãy dùng lệnh sau trong Bash hoặc Zsh:

export SCRAPELESS_API_KEY='YOUR_API_TOKEN'

Khởi chạy trợ lý từ shell đó để nó kế thừa biến môi trường. Trợ lý được khởi chạy riêng, kể cả từ ứng dụng desktop, cần có cấu hình môi trường riêng hoặc quyền truy cập vào tệp cấu hình đã lưu.

Nếu bạn chỉ cài đặt scraping-api, bạn có thể dùng biến môi trường mà không cần cài CLI. Các lệnh config và auth ở trên yêu cầu CLI.

Không đưa key vào prompt chat, tệp dùng chung hoặc nhật ký. Xem Lấy và bảo vệ API key của bạn để biết hướng dẫn xử lý thông tin xác thực.

4. Chạy tác vụ đầu tiên

Yêu cầu trợ lý của bạn:

Dùng skill web-unlocker để trích xuất https://example.com dưới dạng Markdown
và lưu nội dung vào page.md.

Nếu trợ lý của bạn hỗ trợ gọi skill trực tiếp bằng $skill-name, bạn cũng có thể viết:

Dùng $web-unlocker để trích xuất https://example.com dưới dạng Markdown
và lưu nội dung vào page.md.

Hãy xem lại kết quả mà trợ lý báo cáo và tệp được tạo. Việc cài đặt thành công không đồng nghĩa với việc yêu cầu dữ liệu đã hoàn tất.

Ví dụ tác vụ

Chỉ định URL hoặc nền tảng đích, phạm vi và đầu ra bạn muốn. Thay các URL và từ khóa tìm kiếm mẫu bằng dữ liệu của riêng bạn.

Trích xuất một trang web

Dùng skill web-unlocker để trích xuất https://example.com dưới dạng Markdown.
Lưu nội dung đã trích xuất vào page.md.

Web Unlocker hỗ trợ trích xuất một trang mà không cần duy trì phiên trình duyệt tương tác. Tính năng render JavaScript được bật theo mặc định.

Thu thập dữ liệu website

Dùng skill crawl để thu thập tối đa 10 trang từ https://example.com.
Giữ liên kết ngoài ở trạng thái tắt, chỉ trích xuất nội dung chính dưới dạng Markdown
và lưu kết quả thu thập vào crawl.json.

Nội dung trang có thể ở dạng Markdown trong khi kết quả thu thập tổng thể vẫn là JSON. Hãy thêm giới hạn số trang và bộ lọc đường dẫn khi bạn cần thu hẹp phạm vi thu thập.

Thu thập câu trả lời AI

Dùng skill ai-scraper để hỏi ChatGPT:
"Các trường hợp sử dụng chính của web scraping là gì?"
Lưu toàn bộ câu trả lời dưới dạng JSON và giữ lại mọi trích dẫn được trả về.

Các trường và tùy chọn có sẵn phụ thuộc vào nền tảng. Đầu ra JSON đầy đủ giữ nguyên các trường có cấu trúc; đầu ra mặc định của CLI trích xuất Markdown. Trích dẫn chỉ được bao gồm khi dịch vụ trả về.

Tự động hóa trình duyệt

Dùng skill agent-browser để tạo một phiên trình duyệt đám mây,
mở https://example.com, kiểm tra trang và lưu ảnh chụp màn hình
vào page.png. Đóng phiên khi hoàn tất.

Với các tác vụ tương tác, trợ lý sử dụng tham chiếu phần tử từ snapshot của trang hiện tại và giữ nguyên cùng một session ID trong suốt quy trình.

Tạo URL proxy

Dùng skill proxy để tạo một URL proxy dân cư tại Mỹ
qua gateway Châu Á - Thái Bình Dương. Lưu vào một tệp cục bộ riêng tư
có tên proxy.txt và ẩn mật khẩu trong phần tóm tắt.

URL proxy được tạo cục bộ. Quá trình này không kiểm tra kết nối, không xác thực API key và không xác nhận số dư khả dụng. URL được tạo có chứa thông tin xác thực.

Lấy dữ liệu có cấu trúc

Dùng skill scraping-api để tìm kiếm "coffee" trên Google với
hl=en và gl=us. Lưu toàn bộ phản hồi JSON vào google-results.json.

Cùng skill này cũng hỗ trợ các bộ dữ liệu Amazon và TikTok. Ví dụ:

Dùng skill scraping-api để tìm kiếm "coffee" trên Amazon.com,
với loại yêu cầu keywords và trang 1. Lưu phản hồi JSON.

Trợ lý sử dụng tệp scripts/scrape.mjs đi kèm skill và tài liệu tham khảo đầu vào tương ứng. Đường dẫn script phải được phân giải bên trong thư mục skill đã cài đặt.

Cấu hình

Thứ tự ưu tiên thông tin xác thực

CLI và script Scraping API đi kèm đọc thông tin xác thực theo thứ tự sau:

  1. apiKey trong tệp cấu hình, có hỗ trợ trường cũ api_token.
  2. SCRAPELESS_API_TOKEN.
  3. SCRAPELESS_API_KEY.

Key đã lưu được ưu tiên hơn biến môi trường. Khi chuyển tài khoản, hãy cập nhật hoặc xóa key đã lưu trước khi dùng một key khác từ biến môi trường:

scrapeless config remove api_token

Dùng scrapeless config path để tìm tệp cấu hình và scrapeless config list để xem các thiết lập đã được che.

SCRAPELESS_CONFIG_PATH ghi đè đường dẫn cấu hình cho CLI và script đi kèm. Biến này không thay đổi đường dẫn cấu hình mặc định của chính trình duyệt đám mây. Hãy dùng tệp mặc định dùng chung để giữ thông tin xác thực nhất quán trên cả sáu skill.

Sử dụng tệp .env

CLI và script đi kèm không tự động tải .env. Nếu bạn có tệp .env chứa SCRAPELESS_API_KEY, hãy tải tệp đó trước khi khởi chạy trợ lý. Trong Bash hoặc Zsh:

set -a
. ./.env
set +a

Không đưa .env vào hệ thống quản lý phiên bản.

Tác vụ chạy lâu

AI Scraper, Crawl và Scraping API có thể trả về task ID trước khi kết quả sẵn sàng. Hãy giữ lại ID đó và truy xuất tác vụ hiện có thay vì gửi lại cùng một yêu cầu.

Với các tác vụ dựa trên CLI, thay TASK_ID bằng ID được trả về:

scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --json

Dùng đúng nền tảng đã tạo tác vụ AI. Xác nhận trạng thái success với AI Scraper hoặc completed với Crawl. Khi hết thời gian polling, lệnh có thể trả về phản hồi chưa hoàn tất với mã thoát 0, vì vậy hãy kiểm tra trạng thái và nội dung.

Để tiếp tục một tác vụ Scraping API, hãy chạy lệnh sau từ thư mục skill scraping-api đã cài đặt, hoặc thay đường dẫn script bằng đường dẫn tuyệt đối:

node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180

Script thoát với mã 1 khi hết thời gian polling và kèm theo task ID nếu có. Timeout phía client không hủy tác vụ phía máy chủ.

Khắc phục sự cố

Sự cốCần kiểm tra
Trợ lý không tìm thấy skillXác nhận rằng bạn đã cài đặt skill cho đúng trợ lý và phạm vi. Dùng npx skills list để xem các skill đã cài và tham khảo tài liệu trình cài đặt để biết các tùy chọn phạm vi.
Không tìm thấy scrapelessCài đặt CLI và đảm bảo trợ lý có thể truy cập thư mục tệp thực thi của npm thông qua PATH.
Thiếu key hoặc HTTP 401/403Kiểm tra cấu hình đã lưu và biến môi trường. Nếu đã cài CLI, hãy chạy scrapeless auth status.
Tệp .env không có tác dụngTải tệp một cách tường minh và khởi chạy trợ lý từ môi trường đã cấu hình.
Thiết lập trình duyệt thất bại trong lần dùng đầu tiênKiểm tra quyền truy cập npm và GitHub Releases, cũng như quyền ghi vào bộ nhớ đệm của trình duyệt. Ngay cả scrapeless browser --help cũng có thể kích hoạt quá trình cài đặt.
Tác vụ vẫn đang chờ xử lýGiữ lại task ID và tiếp tục truy xuất. Kiểm tra trạng thái được trả về trước khi coi tác vụ là đã hoàn tất.
Không tìm thấy script Scraping APIXác nhận rằng toàn bộ thư mục skill đã được cài đặt. Phân giải scripts/scrape.mjs tương đối với thư mục đó, thay vì thư mục dự án của bạn.

Khi cài đặt thủ công, hãy sao chép toàn bộ thư mục của mỗi skill, bao gồm các thư mục con scripts/, references/ và agents/. Chỉ sao chép SKILL.md có thể bỏ sót các tệp cần thiết.

Tài nguyên liên quan