LlamaIndex
LlamaIndex क्या है
LlamaIndex, LLM वर्कफ़्लो के लिए डेटा लोड, इंडेक्स और पुनर्प्राप्त करने में एप्लिकेशन की मदद करता है। ScrapelessReader, Scrapeless Python SDK का उपयोग करके पूर्ण हो चुके परिणामों को LlamaIndex दस्तावेज़ों के रूप में लोड करता है।
सेवा चुनें
| उत्पाद | Reader सेवा | क्या लौटाती है |
|---|---|---|
| Scraping API | google_search, scraping | ऑर्गेनिक खोज परिणाम या actor के संरचित परिणाम |
| Crawl | scrape, batch_scrape, crawl | एक पेज, URL सूची या किसी साइट के लिंक किए गए पेजों का कंटेंट |
| Web Unlocker | web_unlocker | Web Unlocker actor से प्राप्त कंटेंट |
| AI Scraper | ai_scraper | AI प्लेटफ़ॉर्म से एकत्र किए गए पूर्ण उत्तर |
सेवा का नाम ScrapelessReader.load_data() को दें। actor-आधारित सेवाओं में, इंजन या साइट स्क्रैपर चुनने के लिए params["actor"] का उपयोग करें, जैसे scraper.chatgpt। actor के रिक्वेस्ट फ़ील्ड params["input"] में रखें। इनपुट स्कीमा के लिए Python SDK संदर्भ देखें।
क्विकस्टार्ट
1. Reader इंस्टॉल करें और अपनी API Key सेट करें
पैकेज के लिए Python 3.10 या बाद का संस्करण आवश्यक है। नीचे दिए गए कमांड macOS और Python 3.13 का उपयोग करते हैं। यदि Python की आवश्यकता है, तो macOS के लिए Python डाउनलोड पेज से Python 3.13 का इंस्टॉलर चुनें। यदि आपके पास कोई अन्य समर्थित संस्करण है, तो python3.13 की जगह उस संस्करण का Python कमांड उपयोग करें।
mkdir -p llamaindex-quickstart
cd llamaindex-quickstart
python3.13 -m venv .venv
source .venv/bin/activate
python -m pip install llamaindex-scrapeless==0.1.1Scrapeless डैशबोर्ड से API Key प्राप्त करें। llamaindex-quickstart में .env नाम की एक प्लेन-टेक्स्ट फ़ाइल बनाएँ और नीचे दिया गया प्लेसहोल्डर बदलें। फ़ाइल का नाम डॉट से शुरू होता है और इसमें .txt एक्सटेंशन नहीं होता। पहले से मौजूद SCRAPELESS_API_KEY एनवायरनमेंट वेरिएबल को फ़ाइल के मान पर प्राथमिकता मिलती है।
SCRAPELESS_API_KEY=YOUR_SCRAPELESS_API_KEY2. अपना पहला पेज लोड करें
कोड को .env के साथ उसी डायरेक्टरी में quickstart.py के रूप में सहेजें। यह उदाहरण Crawl उत्पाद की एकल-पेज scrape सेवा का उपयोग करता है।
from dotenv import load_dotenv
from llamaindex_scrapeless import ScrapelessReader
load_dotenv(".env")
reader = ScrapelessReader(timeout=120, request_timeout=30)
documents = reader.load_data(
service="scrape",
params={
"url": "https://example.com",
"options": {"formats": ["markdown"], "onlyMainContent": True},
},
)
print(f"Documents: {len(documents)}")
for document in documents:
print("Source:", document.metadata.get("url"))
print("Page status:", document.metadata.get("statusCode", "not provided"))
print(document.text[:300])उसी टर्मिनल और डायरेक्टरी से स्क्रिप्ट चलाएँ।
python quickstart.py3. परिणाम जाँचें
यह अंश PyPI रिलीज़ का उपयोग करके चलाए गए एक उदाहरण से लिया गया है।
Documents: 1
Source: https://example.com
Page status: 200
This domain is for use in documentation examples without needing permission.जाँचें कि दस्तावेज़ में अपेक्षित पेज टेक्स्ट है और उसका स्रोत example.com की ओर संकेत करता है। onlyMainContent के साथ, Example Domain शीर्षक document.metadata["title"] में दिखाई दे सकता है। बॉडी में सत्यापन पेज, साइन-इन संदेश या असंबंधित कंटेंट की जाँच करें। statusCode मौजूद हो तो उसका मान देखें। फ़ील्ड न होने पर स्क्रिप्ट not provided प्रिंट करती है।
Reader, परिणाम पूरा होने तक प्रतीक्षा करता है। सफल रिस्पॉन्स में दस्तावेज़ न हों तो [] लौटता है। विफल या गलत प्रारूप वाले परिणामों पर त्रुटि उत्पन्न होती है।
AI Scraper सहित सभी सेवाएँ list[Document] लौटाती हैं। प्रत्येक document.text एक स्ट्रिंग है और document.metadata एक डिक्शनरी है। संरचित रिकॉर्ड, सीरियलाइज़ किए गए JSON के रूप में document.text में हो सकते हैं।
अन्य सेवाएँ
दूसरी सेवा आज़माने के लिए quickstart.py में documents = reader.load_data(...) कॉल बदलें। इम्पोर्ट, Reader सेटअप और आउटपुट लूप को बनाए रखें।
Scraping API
documents = reader.load_data(
"google_search",
params={"input": {"q": "retrieval augmented generation", "gl": "us", "hl": "en"}},
)स्निपेट, शीर्षक और स्रोत URL देखें। पूरे पेज पढ़ने के लिए परिणामों के URL अलग से स्क्रैप करें। सामान्य scraping सेवा {"actor": ..., "input": ...} स्वीकार करती है और डिफ़ॉल्ट रूप से संरचित रिकॉर्ड को JSON में सीरियलाइज़ करके document.text में रखती है। इस तरीके को Google Search actor से सत्यापित किया गया था। उपयोग किए जाने वाले प्रत्येक actor का रिस्पॉन्स स्कीमा जाँचें।
Crawl
documents = reader.load_data(
"crawl",
params={
"url": "https://example.com",
"options": {
"limit": 3,
"maxDepth": 1,
"scrapeOptions": {"formats": ["markdown"], "onlyMainContent": True},
},
},
)लौटाए गए प्रत्येक पेज का कंटेंट और स्रोत देखें। limit पेजों की अधिकतम संख्या सेट करता है। ज्ञात URL सूची के लिए params={"urls": [...]} के साथ batch_scrape उपयोग करें। पूर्ण कवरेज आवश्यक होने पर लौटाए गए स्रोतों की तुलना इनपुट सूची से करें।
Web Unlocker
documents = reader.load_data(
"web_unlocker",
params={
"actor": "unlocker.webunlocker",
"input": {"url": "https://example.com", "method": "GET", "redirect": False},
},
)निकाले गए टेक्स्ट और स्रोत URL की जाँच करें। सत्यापित रिस्पॉन्स प्रारूप JSON में लिपटा हुआ HTML है।
AI Scraper
documents = reader.load_data(
"ai_scraper",
params={
"actor": "scraper.chatgpt",
"input": {
"prompt": "Explain retrieval augmented generation and cite sources.",
"country": "US",
"web_search": True,
"shopping": False,
},
},
)उत्तर का टेक्स्ट, रिक्वेस्ट संदर्भ और उद्धरण जाँचें। किसी परिणाम की उद्धरण सूची खाली हो सकती है। Reader, रिमोट टास्क की सफलता तक प्रतीक्षा करता है और उसी दस्तावेज़ इंटरफ़ेस से परिणाम उपलब्ध कराता है।
टास्क फिर से शुरू करें
timeout, Reader की पोलिंग के लिए उपलब्ध समय है; request_timeout एक SDK रिक्वेस्ट का टाइमआउट है और poll_interval स्टेटस जाँचों के बीच का अंतराल है। तीनों सेकंड में हैं। पोलिंग टाइमआउट के बाद भी रिमोट टास्क चलता रह सकता है। ScrapelessTaskTimeout और स्टेटस रिक्वेस्ट का ScrapelessTaskError, टास्क फिर से शुरू करने के लिए service और task_id प्रदान करते हैं।
टाइमआउट के बाद उसी टास्क को फिर से पोल करने के लिए quickstart.py में load_data() कॉल को नीचे दिए गए ब्लॉक से बदलें। मौजूदा Reader सेटअप और आउटपुट लूप बनाए रखें।
from llamaindex_scrapeless import ScrapelessTaskTimeout
params = {
"url": "https://example.com",
"options": {"formats": ["markdown"], "onlyMainContent": True},
}
try:
documents = reader.load_data("scrape", params=params)
except ScrapelessTaskTimeout as error:
documents = reader.load_data(error.service, task_id=error.task_id, params=params)सहेजे गए टास्क ID के साथ मूल पैरामीटर भी दें। Web Unlocker इस पुनः शुरू करने की प्रक्रिया का समर्थन नहीं करता। सिंक्रोनस प्रतीक्षा के लिए load_data या एसिंक्रोनस Python कोड में परिणाम की प्रतीक्षा के लिए aload_data उपयोग करें। प्रतीक्षा रद्द होने पर भी रिमोट प्रोसेसिंग जारी रह सकती है।
समस्या निवारण
| लक्षण | क्या जाँचें |
|---|---|
| API Key नहीं है या ऑथेंटिकेशन विफल है | .env का नाम और स्थान, Python को उपलब्ध SCRAPELESS_API_KEY, तथा खाते की अनुमतियाँ और क्रेडिट जाँचें। |
| मॉड्यूल इम्पोर्ट विफल है | PyPI पैकेज इंस्टॉल करने के लिए उपयोग किया गया वर्चुअल एनवायरनमेंट सक्रिय करें और स्क्रिप्ट फिर से चलाएँ। |
| कॉल केवल टास्क ID लौटाती है या टाइमआउट होता है | टास्क ID सहेजें और परिणाम की प्रतीक्षा के लिए सेवा की पुनः शुरू करने की प्रक्रिया अपनाएँ। |
| खाली सूची या स्रोत गायब हैं | लक्ष्य कंटेंट जाँचें। पूर्ण कवरेज आवश्यक होने पर लौटाए गए स्रोतों की तुलना इनपुट URL से करें। |