Tích hợpLlamaIndex

LlamaIndex

LlamaIndex là gì

LlamaIndex giúp ứng dụng tải, lập chỉ mục và truy xuất dữ liệu cho quy trình LLM. ScrapelessReader sử dụng Python SDK của Scrapeless để tải kết quả đã hoàn tất thành tài liệu LlamaIndex.

Chọn dịch vụ

Sản phẩmDịch vụ của ReaderKết quả trả về
Scraping APIgoogle_search, scrapingKết quả tìm kiếm tự nhiên hoặc kết quả có cấu trúc từ actor
Crawlscrape, batch_scrape, crawlNội dung của một trang, danh sách URL hoặc các trang được liên kết trong một website
Web Unlockerweb_unlockerNội dung do actor Web Unlocker trả về
AI Scraperai_scraperCâu trả lời đã hoàn tất được thu thập từ các nền tảng AI

Truyền tên dịch vụ vào ScrapelessReader.load_data(). Với các dịch vụ dựa trên actor, dùng params["actor"] để chọn công cụ hoặc trình thu thập dữ liệu của website, chẳng hạn scraper.chatgpt. Đặt các trường yêu cầu của actor trong params["input"]. Xem lược đồ đầu vào trong tài liệu tham khảo Python SDK.

Bắt đầu nhanh

1. Cài đặt Reader và thiết lập API Key

Gói yêu cầu Python 3.10 trở lên. Các lệnh bên dưới sử dụng macOS và Python 3.13. Nếu cần cài Python, hãy chọn trình cài đặt Python 3.13 trên trang tải Python cho macOS. Nếu đã có phiên bản được hỗ trợ khác, hãy thay python3.13 bằng lệnh Python tương ứng.

mkdir -p llamaindex-quickstart
cd llamaindex-quickstart
python3.13 -m venv .venv
source .venv/bin/activate
python -m pip install llamaindex-scrapeless==0.1.1

Lấy API Key từ bảng điều khiển Scrapeless. Trong llamaindex-quickstart, tạo tệp văn bản thuần có tên .env và thay giá trị giữ chỗ bên dưới. Tên tệp bắt đầu bằng dấu chấm và không có phần mở rộng .txt. Biến môi trường SCRAPELESS_API_KEY đã tồn tại được ưu tiên hơn giá trị trong tệp.

SCRAPELESS_API_KEY=YOUR_SCRAPELESS_API_KEY

2. Tải trang đầu tiên

Lưu mã thành quickstart.py cùng thư mục với .env. Ví dụ này sử dụng dịch vụ scrape cho một trang của sản phẩm Crawl.

from dotenv import load_dotenv
from llamaindex_scrapeless import ScrapelessReader

load_dotenv(".env")
reader = ScrapelessReader(timeout=120, request_timeout=30)
documents = reader.load_data(
    service="scrape",
    params={
        "url": "https://example.com",
        "options": {"formats": ["markdown"], "onlyMainContent": True},
    },
)

print(f"Documents: {len(documents)}")
for document in documents:
    print("Source:", document.metadata.get("url"))
    print("Page status:", document.metadata.get("statusCode", "not provided"))
    print(document.text[:300])

Chạy tập lệnh trong cùng terminal và thư mục.

python quickstart.py

3. Kiểm tra kết quả

Đoạn dưới đây được trích từ một lần chạy bằng bản phát hành trên PyPI.

Documents: 1
Source: https://example.com
Page status: 200
This domain is for use in documentation examples without needing permission.

Kiểm tra tài liệu có chứa văn bản trang mong đợi và nguồn trỏ đến example.com. Khi dùng onlyMainContent, tiêu đề Example Domain có thể nằm trong document.metadata["title"]. Kiểm tra phần nội dung để phát hiện trang xác minh, lời nhắc đăng nhập và nội dung không liên quan. Kiểm tra statusCode nếu có. Tập lệnh in not provided khi trường này không tồn tại.

Reader chờ kết quả hoàn tất. Phản hồi thành công nhưng không có tài liệu sẽ trả về []. Kết quả thất bại hoặc sai định dạng sẽ phát sinh lỗi.

Tất cả dịch vụ, kể cả AI Scraper, đều trả về list[Document]. Mỗi document.text là một chuỗi và document.metadata là một dictionary. Bản ghi có cấu trúc có thể xuất hiện dưới dạng JSON đã tuần tự hóa trong document.text.

Các dịch vụ khác

Để thử dịch vụ khác, thay lời gọi documents = reader.load_data(...) trong quickstart.py. Giữ nguyên phần import, thiết lập Reader và vòng lặp xuất kết quả.

Scraping API

documents = reader.load_data(
    "google_search",
    params={"input": {"q": "retrieval augmented generation", "gl": "us", "hl": "en"}},
)

Kiểm tra đoạn trích, tiêu đề và URL nguồn. Để đọc toàn bộ trang, hãy thu thập riêng các URL trong kết quả. Dịch vụ scraping tổng quát chấp nhận {"actor": ..., "input": ...} và mặc định tuần tự hóa bản ghi có cấu trúc thành JSON trong document.text. Cách gọi này đã được xác minh bằng actor Google Search. Kiểm tra lược đồ phản hồi của từng actor bạn sử dụng.

Crawl

documents = reader.load_data(
    "crawl",
    params={
        "url": "https://example.com",
        "options": {
            "limit": 3,
            "maxDepth": 1,
            "scrapeOptions": {"formats": ["markdown"], "onlyMainContent": True},
        },
    },
)

Kiểm tra nội dung và nguồn của từng trang trả về. limit đặt số trang tối đa. Với danh sách URL đã biết, dùng batch_scrape cùng params={"urls": [...]} và so sánh nguồn trả về với danh sách đầu vào khi cần bao phủ đầy đủ.

Web Unlocker

documents = reader.load_data(
    "web_unlocker",
    params={
        "actor": "unlocker.webunlocker",
        "input": {"url": "https://example.com", "method": "GET", "redirect": False},
    },
)

Kiểm tra văn bản đã trích xuất và URL nguồn. Định dạng phản hồi đã xác minh là HTML được bọc trong JSON.

AI Scraper

documents = reader.load_data(
    "ai_scraper",
    params={
        "actor": "scraper.chatgpt",
        "input": {
            "prompt": "Explain retrieval augmented generation and cite sources.",
            "country": "US",
            "web_search": True,
            "shopping": False,
        },
    },
)

Kiểm tra văn bản câu trả lời, ngữ cảnh yêu cầu và các trích dẫn. Một kết quả có thể có danh sách trích dẫn trống. Reader chờ tác vụ từ xa thành công và cung cấp kết quả qua cùng giao diện tài liệu.

Tiếp tục một tác vụ

timeout là thời gian dành cho việc polling của Reader, request_timeout là thời gian chờ của một yêu cầu SDK và poll_interval là khoảng cách giữa các lần kiểm tra trạng thái. Cả ba đều tính bằng giây. Tác vụ từ xa có thể tiếp tục chạy sau khi hết thời gian polling. ScrapelessTaskTimeout và ScrapelessTaskError của yêu cầu kiểm tra trạng thái chứa service và task_id để tiếp tục tác vụ.

Để polling lại cùng tác vụ sau khi hết thời gian chờ, thay lời gọi load_data() trong quickstart.py bằng khối dưới đây. Giữ nguyên thiết lập Reader và vòng lặp xuất kết quả hiện có.

from llamaindex_scrapeless import ScrapelessTaskTimeout

params = {
    "url": "https://example.com",
    "options": {"formats": ["markdown"], "onlyMainContent": True},
}
try:
    documents = reader.load_data("scrape", params=params)
except ScrapelessTaskTimeout as error:
    documents = reader.load_data(error.service, task_id=error.task_id, params=params)

Truyền các tham số ban đầu cùng ID tác vụ đã lưu. Web Unlocker không hỗ trợ quy trình tiếp tục này. Dùng load_data để chờ đồng bộ hoặc aload_data để chờ kết quả trong mã Python bất đồng bộ. Quá trình xử lý từ xa có thể tiếp tục nếu việc chờ bị hủy.

Khắc phục sự cố

Triệu chứngCần kiểm tra
Thiếu API Key hoặc xác thực thất bạiKiểm tra tên và vị trí tệp .env, giá trị SCRAPELESS_API_KEY mà Python có thể truy cập, cùng quyền và số dư credit của tài khoản.
Import mô-đun thất bạiKích hoạt môi trường ảo đã dùng để cài gói PyPI rồi chạy lại tập lệnh.
Lời gọi chỉ trả về ID tác vụ hoặc hết thời gian chờGiữ lại ID tác vụ và dùng quy trình tiếp tục của dịch vụ để chờ kết quả.
Danh sách trống hoặc thiếu nguồnKiểm tra nội dung đích. Khi cần bao phủ đầy đủ, so sánh nguồn trả về với URL đầu vào.

Tài nguyên