LangChain
LangChain क्या है
langchain-scrapeless से Scrapeless को अपने Python LangChain एप्लिकेशन से जोड़ें। खोज या डेटा निकालने के लिए सीधे टूल कॉल करें, या उन्हें एजेंट में पंजीकृत करें ताकि मॉडल टूल चुन सके और उनके परिणामों का उपयोग कर सके।
पहले Google Search की त्वरित शुरुआत आज़माएँ, फिर उसे एजेंट से जोड़ें या नीचे कोई अन्य उत्पाद चुनें।
उपलब्ध टूल
यह एकीकरण चार उत्पाद क्षेत्रों के टूल प्रदान करता है। टूल क्लास को langchain_scrapeless से इम्पोर्ट करें।
| उत्पाद | कब उपयोग करें | टूल क्लास |
|---|---|---|
| Scraping API — Google Search | खोज परिणाम और पेज URL प्राप्त करने के लिए | ScrapelessDeepSerpGoogleSearchTool |
| Crawl | ज्ञात URL से सामग्री निकालने या वेबसाइट के पेज खोजने के लिए | ScrapelessCrawlerScrapeTool, ScrapelessCrawlerCrawlTool |
| Web Unlocker | JavaScript रेंडरिंग जैसे विकल्पों के साथ पेज की सामग्री निकालने के लिए | ScrapelessUniversalScrapingTool |
| AI Scraper | AI प्लेटफ़ॉर्म के उत्तर और उपलब्ध स्रोत एकत्र करने के लिए | ScrapelessAIScraperTool, ScrapelessChatGPTScraperTool जैसे इंजन-विशिष्ट टूल, और ScrapelessAIScraperResultTool |
Web Unlocker का नाम: उत्पाद का नाम Web Unlocker है। langchain-scrapeless 0.1.4 में इसकी Python क्लास का नाम अभी भी ScrapelessUniversalScrapingTool है; इम्पोर्ट और कोड में इसी नाम का उपयोग करें।
सेटअप
आपको Python 3.10 या उसके बाद का संस्करण और चुने गए उत्पाद के लिए एक्सेस तथा क्रेडिट वाली Scrapeless API कुंजी चाहिए। टूल को सीधे कॉल करने के लिए केवल यही कुंजी आवश्यक है। वैकल्पिक एजेंट उदाहरण के लिए मॉडल प्रदाता की कुंजी भी चाहिए।
यह गाइड langchain-scrapeless 0.1.4 के लिए है, जो Scrapeless Python SDK 1.3.0 इंस्टॉल करता है। एजेंट उदाहरण में LangChain 1.x का उपयोग किया गया है।
पैकेज इंस्टॉल करें
वर्चुअल एनवायरनमेंट बनाएँ और सक्रिय करें।
macOS / Linux:
python3 -m venv .venv
source .venv/bin/activateWindows PowerShell:
py -3 -m venv .venv
.\.venv\Scripts\Activate.ps1फिर एकीकरण पैकेज इंस्टॉल करें:
python -m pip install "langchain-scrapeless==0.1.4"
python -m pip checkअपनी API कुंजी कॉन्फ़िगर करें
प्लेसहोल्डर बदलें और उसी टर्मिनल में वेरिएबल सेट करें जहाँ आप Python चलाएँगे।
macOS / Linux:
export SCRAPELESS_API_KEY="YOUR_SCRAPELESS_API_KEY"Windows PowerShell:
$env:SCRAPELESS_API_KEY = "YOUR_SCRAPELESS_API_KEY"टूल स्वचालित रूप से SCRAPELESS_API_KEY पढ़ते हैं। अपनी कुंजी को सोर्स फ़ाइलों या साझा लॉग में शामिल न करें।
त्वरित शुरुआत: Google पर खोजें
इसे search.py के रूप में सहेजें:
from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool
tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
result = tool.invoke({
"q": "Scrapeless documentation",
"hl": "en",
"gl": "us",
})
items = result.get("organic_results") or []
if not items:
print("No organic results returned. Inspect the response:", result)
for item in items[:3]:
print(item.get("title"), item.get("link"))
print(item.get("snippet", ""))इसे सक्रिय एनवायरनमेंट में चलाएँ:
python search.pyऑर्गेनिक परिणाम उपलब्ध होने पर स्क्रिप्ट अधिकतम तीन शीर्षक, URL और स्निपेट प्रिंट करती है। hl खोज की भाषा चुनता है और gl देश चुनता है। केवल खाली सूची से अनुरोध विफल होने की पुष्टि नहीं होती; पूरा रिस्पॉन्स देखें।
खोज स्निपेट सारांश होते हैं। पेज की सामग्री चाहिए तो लौटाए गए URL को Crawl में भेजें। उदाहरणों में handle_tool_error=False का उपयोग किया गया है ताकि LangChain टूल के एक्सेप्शन टूल आउटपुट बनने के बजाय आगे प्रसारित हों।
LangChain एजेंट जोड़ें
एजेंट टूल चुनने और उत्तर तैयार करने के लिए मॉडल का उपयोग करता है। Scrapeless खोज चलाता है। मॉडल प्रदाता का उपयोग और Scrapeless का उपयोग अलग-अलग गिना जाता है।
मॉडल एकीकरण इंस्टॉल और कॉन्फ़िगर करें
उसी एनवायरनमेंट में इंस्टॉल करें:
python -m pip install "langchain>=1,<2" "langchain-openai>=1,<2"
python -m pip checkSCRAPELESS_API_KEY सेट रहने दें और अपने OpenAI क्रेडेंशियल जोड़ें।
macOS / Linux:
export OPENAI_API_KEY="YOUR_OPENAI_API_KEY"
export OPENAI_MODEL="YOUR_TOOL_CALLING_MODEL"Windows PowerShell:
$env:OPENAI_API_KEY = "YOUR_OPENAI_API_KEY"
$env:OPENAI_MODEL = "YOUR_TOOL_CALLING_MODEL"मॉडल प्लेसहोल्डर को अपने खाते में उपलब्ध ऐसे मॉडल ID से बदलें जो टूल कॉलिंग का समर्थन करता हो। OPENAI_MODEL इस उदाहरण में स्पष्ट रूप से उपयोग किया जाने वाला वेरिएबल है।
एजेंट बनाएँ और चलाएँ
agent.py के रूप में सहेजें:
import os
from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool
model = ChatOpenAI(model=os.environ["OPENAI_MODEL"])
search_tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
agent = create_agent(model=model, tools=[search_tool])
result = agent.invoke({
"messages": [{
"role": "user",
"content": (
"Search the web for Scrapeless documentation and return three "
"relevant documentation links with a short description of each."
),
}],
})
# Show the model's tool calls, tool responses, and final answer.
for message in result["messages"]:
message.pretty_print()python agent.py चलाएँ। प्रिंट किए गए संदेशों में scrapeless_deepserp_google_search की कॉल, उसका टूल रिस्पॉन्स और उन परिणामों पर आधारित अंतिम उत्तर देखें। जाँचें कि रिस्पॉन्स में उपयोग योग्य डेटा है; केवल मॉडल का उत्तर यह पुष्टि नहीं करता कि Scrapeless को कॉल किया गया था।
टूल पंजीकृत करने से वह उपलब्ध हो जाता है, लेकिन हर अनुरोध में उसे कॉल करना अनिवार्य नहीं होता। दूसरी क्षमता जोड़ने के लिए संबंधित टूल का इंस्टेंस बनाएँ और उसे tools=[...] में शामिल करें।
अन्य उत्पादों के उदाहरण
ये उदाहरण एक-दूसरे से स्वतंत्र हैं। हर कोड ब्लॉक को .py फ़ाइल के रूप में सहेजें और कॉन्फ़िगर किए गए एनवायरनमेंट में python filename.py चलाएँ।
Crawl
ज्ञात URL के लिए ScrapelessCrawlerScrapeTool का उपयोग करें। urls में एक URL या URL का बैच दें:
from langchain_scrapeless import ScrapelessCrawlerScrapeTool
tool = ScrapelessCrawlerScrapeTool(handle_tool_error=False)
result = tool.invoke({
"urls": ["https://example.com"],
"formats": ["markdown"],
"only_main_content": True,
"poll_timeout": 180,
})
if result.get("status") != "completed":
raise RuntimeError(f"Scrape did not complete: {result.get('status')}")
pages = result.get("data") or []
print("Returned pages:", len(pages))
for page in pages:
metadata = page.get("metadata") or {}
print(metadata.get("sourceURL"), metadata.get("statusCode"))
print(page.get("markdown", ""))कॉल बैच टास्क पूरा होने का इंतज़ार करती है। टास्क की स्थिति के साथ हर पेज की स्थिति और सामग्री भी जाँचें। poll_timeout सेकंड में मापा जाता है; पेज का अलग timeout पैरामीटर मिलीसेकंड में मापा जाता है।
लिंक किए गए पेज खोजने के लिए ScrapelessCrawlerCrawlTool के साथ {"url": "https://example.com", "limit": 5, "formats": ["markdown"]} का उपयोग करें। यह भी पूरा होने का इंतज़ार करता है और status तथा data वाली डिक्शनरी लौटाता है। limit अधिकतम सीमा है, इसलिए कम पेज लौट सकते हैं। संस्करण 0.1.4 में यह टूल poll_timeout उपलब्ध नहीं कराता।
Web Unlocker
JavaScript रेंडरिंग सक्षम करके Markdown का अनुरोध करें:
from pathlib import Path
from langchain_scrapeless import ScrapelessUniversalScrapingTool
tool = ScrapelessUniversalScrapingTool(handle_tool_error=False)
content = tool.invoke({
"url": "https://example.com",
"js_render": True,
"response_type": "markdown",
})
if not isinstance(content, str) or not content.strip():
raise RuntimeError("Expected non-empty Markdown text; inspect the response")
Path("page.md").write_text(content, encoding="utf-8")
print("Saved page.md")निकाली गई मुख्य सामग्री जाँचने के लिए page.md खोलें। टेक्स्ट फ़ॉर्मैट में markdown, html और plaintext शामिल हैं। लौटाए गए टेक्स्ट का सीधे उपयोग करें; इसमें Crawl के status और data फ़ील्ड नहीं होते। इनपुट URL को सामग्री के साथ उसके स्रोत के रूप में सहेजें।
AI Scraper
इंजन-विशिष्ट टूल का उपयोग करें या ScrapelessAIScraperTool के माध्यम से इंजन चुनें। समर्थित इंजन मान हैं: chatgpt, perplexity, copilot, gemini, aimode, overview, grok और alexa।
इस उदाहरण में AI Scraper के ChatGPT इंजन का उपयोग किया गया है:
from langchain_scrapeless import ScrapelessChatGPTScraperTool
tool = ScrapelessChatGPTScraperTool(handle_tool_error=False)
task = tool.invoke({
"prompt": "Explain HTTP caching and include sources where available.",
"country": "US",
"web_search": True,
"shopping": False,
"output_format": "json",
})
if task.get("status") != "success":
raise RuntimeError(f"Task did not complete: {task.get('task_id')}")
answer = task["task_result"]
print(answer.get("result_text", ""))
print("Links:", answer.get("links") or [])
print("Content references:", answer.get("content_references") or [])ChatGPT टूल डिफ़ॉल्ट रूप से टेक्स्ट लौटाता है; output_format="json" टास्क की स्थिति और परिणाम फ़ील्ड वाली Python डिक्शनरी लौटाता है। एकीकृत टूल और अन्य इंजन-विशिष्ट टूल डिफ़ॉल्ट रूप से पूरी टास्क डिक्शनरी लौटाते हैं। इनपुट और उत्तर के फ़ील्ड इंजन के अनुसार बदलते हैं; उदाहरण के लिए, Copilot को mode चाहिए। स्रोत खाली हो सकते हैं और Google AI Overview बिना ओवरव्यू के भी पूरा हो सकता है।
इस कॉल के लिए केवल SCRAPELESS_API_KEY चाहिए। AI Scraper प्लेटफ़ॉर्म के उत्तर एकत्र करता है; एजेंट उदाहरण का ChatOpenAI मॉडल अलग भूमिका निभाता है और उसकी कुंजी भी अलग है।
टास्क प्रबंधन
ऊपर के अधिकांश उदाहरण परिणामों का इंतज़ार करते हैं। लंबे वर्कफ़्लो के लिए:
-
AI Scraper: इंजन इनपुट में
wait=Falseऔरoutput_format="json"सेट करें,task_idसहेजें औरScrapelessAIScraperResultToolसे परिणाम प्राप्त करें। वहीengineदें। परिणाम प्राप्त करते समयwait,poll_timeoutऔरpoll_intervalका समर्थन है; अंतिम दो सेकंड में हैं। -
बैच स्क्रैपिंग: पोलिंग का समय समाप्त होने पर त्रुटि में दिए टास्क ID को सहेजें। मौजूदा बैच की स्थिति जानने के लिए Python SDK के माध्यम से
client.scraping_crawl.scrape.check_batch_scrape_status(task_id)का उपयोग करें। -
वेबसाइट क्रॉलिंग: टास्क भेजने के लिए SDK का
async_crawl_url()और सहेजे गए टास्क को प्राप्त करने के लिएcheck_crawl_status()उपयोग करें। स्थिति की क्वेरीstatusऔरdataजैसे एट्रिब्यूट वाला ऑब्जेक्ट लौटाती है।
ये रिमोट टास्क वर्कफ़्लो हैं, जो Python के async/await से अलग हैं। पोलिंग का समय समाप्त होने से रिमोट टास्क रद्द नहीं होता। दोबारा भेजने से पहले मौजूदा ID की स्थिति जाँचें। विस्तृत उपयोग के लिए Python SDK गाइड और पैकेज के उदाहरण देखें।
समस्या निवारण
| समस्या | क्या जाँचें |
|---|---|
| इम्पोर्ट या डिपेंडेंसी त्रुटि | Python 3.10+ और इंस्टॉलेशन तथा निष्पादन के लिए एक ही वर्चुअल एनवायरनमेंट का उपयोग करें। python -m pip check और python -m pip show langchain-scrapeless scrapeless langchain-core चलाएँ। |
| कुंजी गायब है या प्रमाणीकरण विफल है | Python चलाने वाली प्रक्रिया में कुंजी सेट करें। उसकी वैधता, उत्पाद एक्सेस और क्रेडिट जाँचें। एजेंट के मॉडल प्रदाता की कुंजी अलग है। |
| पैरामीटर वैलिडेशन त्रुटि | चुने गए टूल और इंजन का स्कीमा जाँचें। एकीकृत AI Scraper टूल में इंजन-विशिष्ट फ़ील्ड input के अंदर रखें। SDK, REST और टूल के पैरामीटर नाम अलग हो सकते हैं। |
| टाइमआउट | टास्क ID सहेजें और ऊपर दिए स्थिति जाँचने के निर्देशों का पालन करें। दोबारा सबमिट करने से नया टास्क बन सकता है। |
| खाली या अप्रत्याशित आउटपुट | पूरा रिस्पॉन्स, टास्क की स्थिति और अनुरोधित सामग्री के फ़ील्ड जाँचें। Web Unlocker की टेक्स्ट डिकोडिंग त्रुटि रिपोर्ट करते समय SDK संस्करण और संवेदनशील जानकारी हटाया हुआ ट्रेसबैक शामिल करें। |
| एजेंट खोज नहीं करता | पहले सीधे कॉल वाला त्वरित शुरुआत उदाहरण जाँचें। टूल पंजीकरण और मॉडल के टूल कॉलिंग समर्थन की जाँच करें, फिर स्पष्ट खोज अनुरोध देकर निष्पादन संदेश देखें। |