LangChain
LangChain là gì
Kết nối Scrapeless với ứng dụng Python LangChain bằng langchain-scrapeless. Gọi công cụ trực tiếp để tìm kiếm hoặc trích xuất dữ liệu, hoặc đăng ký chúng với agent để mô hình có thể chọn công cụ và sử dụng kết quả.
Bắt đầu với hướng dẫn nhanh Google Search, sau đó kết nối với agent hoặc chọn sản phẩm khác bên dưới.
Các công cụ có sẵn
Tích hợp này cung cấp bốn nhóm sản phẩm. Nhập các lớp công cụ từ langchain_scrapeless.
| Sản phẩm | Khi nào sử dụng | Các lớp công cụ |
|---|---|---|
| Scraping API — Google Search | Tìm kết quả tìm kiếm và URL trang | ScrapelessDeepSerpGoogleSearchTool |
| Crawl | Trích xuất nội dung từ URL đã biết hoặc khám phá các trang trong website | ScrapelessCrawlerScrapeTool, ScrapelessCrawlerCrawlTool |
| Web Unlocker | Trích xuất trang với các tùy chọn như kết xuất JavaScript | ScrapelessUniversalScrapingTool |
| AI Scraper | Thu thập câu trả lời từ nền tảng AI và các nguồn có sẵn | ScrapelessAIScraperTool, các công cụ dành riêng cho từng engine như ScrapelessChatGPTScraperTool, và ScrapelessAIScraperResultTool |
Tên gọi Web Unlocker: Sản phẩm có tên là Web Unlocker. Trong langchain-scrapeless 0.1.4, lớp Python vẫn có tên ScrapelessUniversalScrapingTool; hãy dùng chính xác tên này khi nhập và viết mã.
Thiết lập
Bạn cần Python 3.10 trở lên và khóa API Scrapeless có quyền truy cập và tín dụng cho sản phẩm đã chọn. Gọi công cụ trực tiếp chỉ cần khóa này. Ví dụ agent tùy chọn cũng yêu cầu khóa của nhà cung cấp mô hình.
Hướng dẫn này dành cho langchain-scrapeless 0.1.4, phiên bản cài đặt Scrapeless Python SDK 1.3.0. Ví dụ agent sử dụng LangChain 1.x.
Cài đặt gói
Tạo và kích hoạt môi trường ảo.
macOS / Linux:
python3 -m venv .venv
source .venv/bin/activateWindows PowerShell:
py -3 -m venv .venv
.\.venv\Scripts\Activate.ps1Sau đó cài đặt gói tích hợp:
python -m pip install "langchain-scrapeless==0.1.4"
python -m pip checkCấu hình khóa API
Thay thế giá trị giữ chỗ và đặt biến trong terminal nơi bạn sẽ chạy Python.
macOS / Linux:
export SCRAPELESS_API_KEY="YOUR_SCRAPELESS_API_KEY"Windows PowerShell:
$env:SCRAPELESS_API_KEY = "YOUR_SCRAPELESS_API_KEY"Các công cụ tự động đọc SCRAPELESS_API_KEY. Không đưa khóa vào tệp mã nguồn hoặc nhật ký được chia sẻ.
Bắt đầu nhanh: tìm kiếm Google
Lưu đoạn mã này thành search.py:
from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool
tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
result = tool.invoke({
"q": "Scrapeless documentation",
"hl": "en",
"gl": "us",
})
items = result.get("organic_results") or []
if not items:
print("No organic results returned. Inspect the response:", result)
for item in items[:3]:
print(item.get("title"), item.get("link"))
print(item.get("snippet", ""))Chạy trong môi trường đã kích hoạt:
python search.pyKhi có kết quả tìm kiếm tự nhiên, script in tối đa ba tiêu đề, URL và đoạn trích. hl chọn ngôn ngữ tìm kiếm và gl chọn quốc gia. Chỉ riêng danh sách rỗng không đủ để kết luận yêu cầu thất bại; hãy kiểm tra toàn bộ phản hồi.
Đoạn trích tìm kiếm là nội dung tóm tắt. Truyền các URL được trả về cho Crawl khi cần nội dung trang. Các ví dụ sử dụng handle_tool_error=False để ngoại lệ của công cụ LangChain được truyền lên thay vì trở thành đầu ra của công cụ.
Kết nối agent LangChain
Agent sử dụng mô hình để chọn công cụ và soạn câu trả lời. Scrapeless thực hiện tìm kiếm. Mức sử dụng của nhà cung cấp mô hình được tính riêng với mức sử dụng Scrapeless.
Cài đặt và cấu hình tích hợp mô hình
Trong cùng môi trường, cài đặt:
python -m pip install "langchain>=1,<2" "langchain-openai>=1,<2"
python -m pip checkGiữ nguyên cấu hình SCRAPELESS_API_KEY và thêm thông tin xác thực OpenAI.
macOS / Linux:
export OPENAI_API_KEY="YOUR_OPENAI_API_KEY"
export OPENAI_MODEL="YOUR_TOOL_CALLING_MODEL"Windows PowerShell:
$env:OPENAI_API_KEY = "YOUR_OPENAI_API_KEY"
$env:OPENAI_MODEL = "YOUR_TOOL_CALLING_MODEL"Thay giá trị giữ chỗ của mô hình bằng ID mô hình có sẵn trong tài khoản và hỗ trợ gọi công cụ. OPENAI_MODEL là biến được ví dụ này sử dụng một cách tường minh.
Tạo và chạy agent
Lưu thành agent.py:
import os
from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool
model = ChatOpenAI(model=os.environ["OPENAI_MODEL"])
search_tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
agent = create_agent(model=model, tools=[search_tool])
result = agent.invoke({
"messages": [{
"role": "user",
"content": (
"Search the web for Scrapeless documentation and return three "
"relevant documentation links with a short description of each."
),
}],
})
# Show the model's tool calls, tool responses, and final answer.
for message in result["messages"]:
message.pretty_print()Chạy python agent.py. Trong các thông điệp được in ra, tìm lời gọi scrapeless_deepserp_google_search, phản hồi của công cụ và câu trả lời cuối cùng dựa trên các kết quả đó. Kiểm tra phản hồi để tìm dữ liệu có thể sử dụng; chỉ có câu trả lời của mô hình không xác nhận rằng Scrapeless đã được gọi.
Đăng ký công cụ giúp agent có thể sử dụng công cụ đó nhưng không bắt buộc gọi trong mọi yêu cầu. Để thêm khả năng khác, tạo đối tượng công cụ tương ứng và đưa vào tools=[...].
Ví dụ về các sản phẩm khác
Các ví dụ này độc lập với nhau. Lưu từng khối mã thành tệp .py và chạy python filename.py trong môi trường đã cấu hình.
Crawl
Sử dụng ScrapelessCrawlerScrapeTool cho các URL đã biết. Cung cấp một URL hoặc một loạt URL trong urls:
from langchain_scrapeless import ScrapelessCrawlerScrapeTool
tool = ScrapelessCrawlerScrapeTool(handle_tool_error=False)
result = tool.invoke({
"urls": ["https://example.com"],
"formats": ["markdown"],
"only_main_content": True,
"poll_timeout": 180,
})
if result.get("status") != "completed":
raise RuntimeError(f"Scrape did not complete: {result.get('status')}")
pages = result.get("data") or []
print("Returned pages:", len(pages))
for page in pages:
metadata = page.get("metadata") or {}
print(metadata.get("sourceURL"), metadata.get("statusCode"))
print(page.get("markdown", ""))Lời gọi chờ tác vụ theo lô hoàn tất. Kiểm tra trạng thái và nội dung của từng trang bên cạnh trạng thái tác vụ. poll_timeout tính bằng giây; tham số riêng timeout của trang tính bằng mili giây.
Để khám phá các trang được liên kết, sử dụng ScrapelessCrawlerCrawlTool với {"url": "https://example.com", "limit": 5, "formats": ["markdown"]}. Công cụ này cũng chờ hoàn tất và trả về từ điển chứa status và data. limit là giới hạn tối đa nên số trang trả về có thể ít hơn. Công cụ này không cung cấp poll_timeout trong phiên bản 0.1.4.
Web Unlocker
Yêu cầu Markdown với tính năng kết xuất JavaScript được bật:
from pathlib import Path
from langchain_scrapeless import ScrapelessUniversalScrapingTool
tool = ScrapelessUniversalScrapingTool(handle_tool_error=False)
content = tool.invoke({
"url": "https://example.com",
"js_render": True,
"response_type": "markdown",
})
if not isinstance(content, str) or not content.strip():
raise RuntimeError("Expected non-empty Markdown text; inspect the response")
Path("page.md").write_text(content, encoding="utf-8")
print("Saved page.md")Mở page.md để kiểm tra phần nội dung được trích xuất. Các định dạng văn bản gồm markdown, html và plaintext. Sử dụng trực tiếp văn bản trả về; nó không có các trường status và data như Crawl. Lưu URL đầu vào cùng với nội dung để ghi nhận nguồn.
AI Scraper
Sử dụng công cụ dành riêng cho engine hoặc chọn engine thông qua ScrapelessAIScraperTool. Các giá trị engine được hỗ trợ là chatgpt, perplexity, copilot, gemini, aimode, overview, grok và alexa.
Ví dụ này sử dụng engine ChatGPT trong AI Scraper:
from langchain_scrapeless import ScrapelessChatGPTScraperTool
tool = ScrapelessChatGPTScraperTool(handle_tool_error=False)
task = tool.invoke({
"prompt": "Explain HTTP caching and include sources where available.",
"country": "US",
"web_search": True,
"shopping": False,
"output_format": "json",
})
if task.get("status") != "success":
raise RuntimeError(f"Task did not complete: {task.get('task_id')}")
answer = task["task_result"]
print(answer.get("result_text", ""))
print("Links:", answer.get("links") or [])
print("Content references:", answer.get("content_references") or [])Công cụ ChatGPT mặc định trả về văn bản; output_format="json" trả về từ điển Python chứa trạng thái tác vụ và các trường kết quả. Công cụ hợp nhất và các công cụ riêng cho engine khác mặc định trả về từ điển tác vụ đầy đủ. Các trường đầu vào và câu trả lời thay đổi tùy engine; ví dụ, Copilot yêu cầu mode. Nguồn có thể rỗng và Google AI Overview có thể hoàn tất mà không có phần tổng quan.
Lời gọi này chỉ cần SCRAPELESS_API_KEY. AI Scraper thu thập câu trả lời từ nền tảng; mô hình ChatOpenAI trong ví dụ agent có vai trò và khóa riêng.
Xử lý tác vụ
Hầu hết các ví dụ trên đều chờ kết quả. Với quy trình dài hơn:
-
AI Scraper: đặt
wait=Falsevàoutput_format="json"trong đầu vào của engine, lưutask_idvà lấy kết quả bằngScrapelessAIScraperResultTool. Truyền cùng giá trịengine. Truy vấn hỗ trợwait,poll_timeoutvàpoll_interval; hai tham số cuối tính bằng giây. -
Trích xuất theo lô: nếu việc thăm dò hết thời gian chờ, giữ lại ID tác vụ trong lỗi. Dùng
client.scraping_crawl.scrape.check_batch_scrape_status(task_id)thông qua Python SDK để truy vấn lô hiện có. -
Thu thập dữ liệu website: dùng
async_crawl_url()của SDK để gửi tác vụ vàcheck_crawl_status()để truy vấn tác vụ đã lưu. Truy vấn trạng thái trả về đối tượng có các thuộc tính nhưstatusvàdata.
Đây là các quy trình tác vụ từ xa, tách biệt với async/await của Python. Hết thời gian chờ thăm dò không hủy tác vụ từ xa. Hãy truy vấn ID hiện có trước khi gửi lại. Xem hướng dẫn Python SDK và ví dụ của gói để biết cách sử dụng chi tiết.
Khắc phục sự cố
| Vấn đề | Nội dung cần kiểm tra |
|---|---|
| Lỗi nhập hoặc phụ thuộc | Dùng Python 3.10+ và cùng một môi trường ảo để cài đặt và chạy. Chạy python -m pip check và python -m pip show langchain-scrapeless scrapeless langchain-core. |
| Thiếu khóa hoặc xác thực thất bại | Đặt khóa trong tiến trình chạy Python. Kiểm tra tính hợp lệ, quyền truy cập sản phẩm và tín dụng. Khóa nhà cung cấp mô hình của agent là khóa riêng. |
| Lỗi xác thực tham số | Kiểm tra schema của công cụ và engine đã chọn. Với công cụ AI Scraper hợp nhất, đặt các trường riêng của engine bên trong input. Tên tham số của SDK, REST và công cụ có thể khác nhau. |
| Hết thời gian chờ | Giữ lại ID tác vụ và làm theo hướng dẫn truy vấn ở trên. Gửi lại có thể tạo tác vụ khác. |
| Đầu ra rỗng hoặc không như mong đợi | Kiểm tra toàn bộ phản hồi, trạng thái tác vụ và các trường nội dung được yêu cầu. Khi báo cáo lỗi giải mã văn bản của Web Unlocker, cung cấp phiên bản SDK và traceback đã loại bỏ dữ liệu nhạy cảm. |
| Agent không tìm kiếm | Trước tiên xác minh ví dụ bắt đầu nhanh với lời gọi trực tiếp. Kiểm tra việc đăng ký công cụ và khả năng gọi công cụ của mô hình, sau đó kiểm tra các thông điệp thực thi với yêu cầu tìm kiếm rõ ràng. |