Scrapeless CLI

अवलोकन

Scrapeless CLI वेब एक्सट्रैक्शन, वेबसाइट क्रॉलिंग, AI उत्तरों, प्रॉक्सी URL जनरेशन और क्लाउड ब्राउज़र संचालन के लिए एक ही scrapeless कमांड प्रदान करता है। इसे टर्मिनल में चलाएँ या अपनी ऑटोमेशन स्क्रिप्ट्स से इनवोक करें।

सुविधाएँ

api नेमस्पेस आरक्षित है और लागू नहीं किया गया है।

शुरू करें

• क्विकस्टार्ट — इंस्टॉल करें, अपनी key कॉन्फ़िगर करें और अपना पहला अनुरोध भेजें।
• उपयोग के उदाहरण — प्रत्येक सुविधा के लिए कमांड।
• कॉन्फ़िगरेशन और टास्क — क्रेडेंशियल्स, आउटपुट, पोलिंग और ब्राउज़र आवश्यकताएँ।

क्विकस्टार्ट

आवश्यकताएँ

Node.js 22 या बाद का संस्करण और npm उपयोग करें। Node.js CLI का रनटाइम है; आपको JavaScript या TypeScript लिखने की आवश्यकता नहीं है। प्रमाणित सेवाओं के लिए Scrapeless खाता और API key आवश्यक हैं।

1. CLI इंस्टॉल करें

npm install -g scrapeless
scrapeless --version
scrapeless --help

2. अपनी API Key कॉन्फ़िगर करें

Scrapeless डैशबोर्ड से अपनी API key कॉपी करें और YOUR_API_TOKEN को बदलें:

1. डैशबोर्ड में Settings (सेटिंग्स) खोलें।
2. API Key Management (API Key प्रबंधन) चुनें।
3. कोई उपलब्ध key उपयोग करें, या ज़रूरत हो तो Create API Key (API Key बनाएँ) चुनें। नीचे दिए गए कॉन्फ़िगरेशन कमांड के लिए key कॉपी करें।

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

auth status प्रमाणीकरण और खाते का बैलेंस जाँचता है। क्लाउड अनुरोध और प्रॉक्सी ट्रैफ़िक खाते के क्रेडिट खर्च करते हैं।

3. एक पेज एक्सट्रैक्ट करें

scrapeless unlock https://example.com --type markdown

यह कमांड पेज का एक्सट्रैक्ट किया गया Markdown प्रिंट करता है।

पूरा रिस्पॉन्स देखें

पूरा रिस्पॉन्स, जिसमें उसका कोड और पेज कंटेंट शामिल है, देखने के लिए --json जोड़ें:

scrapeless unlock https://example.com --type markdown --json

उपयोग के उदाहरण

ये उदाहरण चलाने से पहले CLI इंस्टॉल करें और अपनी API key कॉन्फ़िगर करें।

Web Unlocker

किसी चयनित क्षेत्र को HTML के रूप में एक्सट्रैक्ट करें, या पूरा JSON रिस्पॉन्स सहेजें:

scrapeless unlock https://example.com --type html --selector body
scrapeless unlock https://example.com --type markdown --json -o page.json

scrape, unlock का एक उपनाम (alias) है। डिफ़ॉल्ट आउटपुट HTML है, और JavaScript रेंडरिंग सक्षम रहती है।

Crawl

scrapeless crawl https://example.com --limit 3 --max-depth 2 --formats markdown --json -o crawl.json

--formats markdown पेज कंटेंट का फ़ॉर्मैट चुनता है; टास्क का समग्र परिणाम JSON ही रहता है। --include-paths और --exclude-paths से क्रॉल का दायरा सीमित करें।

AI Scraper

scrapeless ai platforms
scrapeless ai chatgpt "Explain what Scrapeless is used for" -o answer.md
scrapeless ai perplexity "What web scraping techniques are available?" --web-search true --json -o answer.json

सफल टास्क डिफ़ॉल्ट रूप से Markdown लौटाते हैं। विकल्प प्लेटफ़ॉर्म के अनुसार अलग-अलग होते हैं; वर्तमान सूची के लिए ai platforms उपयोग करें। अंग्रेज़ी प्रॉम्प्ट केवल उदाहरण हैं: CLI Unicode टेक्स्ट स्वीकार करता है, और भाषा की उपलब्धता चयनित सेवा पर निर्भर करती है।

Proxies

scrapeless proxy gateways
scrapeless proxy create --type residential --country US --gateway us

URL जनरेशन कनेक्टिविटी का परीक्षण किए बिना स्थानीय रूप से होता है। समर्थित प्रकार residential, ipv6 और datacenter हैं; गेटवे us, eu, ap या hostname:port स्वीकार करते हैं। URL में क्रेडेंशियल्स होते हैं; इसे निजी रखें।

Cloud Browser

SESSION_ID को new-session द्वारा लौटाए गए सेशन ID से बदलें:

scrapeless browser new-session --name demo --ttl 300 --json
scrapeless browser --session-id SESSION_ID open https://example.com
scrapeless browser --session-id SESSION_ID snapshot -i
scrapeless browser --session-id SESSION_ID screenshot page.png
scrapeless browser --session-id SESSION_ID close

click @e1 या fill @e2 "hello world" के लिए, सेशन खुला रहते हुए नए स्नैपशॉट से प्राप्त वास्तविक इंटरैक्टिव रेफ़रेंस उपयोग करें। डिफ़ॉल्ट रूप से, पहली बार उपयोग करने पर, जिसमें browser --help भी शामिल है, अपस्ट्रीम CLI इंस्टॉल हो जाता है; कॉन्फ़िगरेशन और टास्क में ब्राउज़र आवश्यकताएँ देखें।

कमांड विकल्पों के लिए scrapeless unlock --help, scrapeless crawl --help, scrapeless ai --help या scrapeless proxy create --help चलाएँ। browser --help के पहली बार उपयोग पर इंस्टॉलेशन व्यवहार का वर्णन ऊपर किया गया है।

पूरा कमांड रेफ़रेंस और सोर्स से बिल्ड करने के निर्देश CLI रिपॉज़िटरी में हैं। AI सेवा का व्यवहार और बिलिंग AI Scraper दस्तावेज़ में शामिल हैं।

कॉन्फ़िगरेशन और टास्क

क्रेडेंशियल्स

डिफ़ॉल्ट फ़ाइल ~/.scrapeless/config.json है। Key की प्राथमिकता का क्रम कॉन्फ़िगरेशन फ़ाइल → SCRAPELESS_API_TOKEN → SCRAPELESS_API_KEY है। एनवायरनमेंट वेरिएबल उपयोग करने के लिए:

export SCRAPELESS_API_KEY="YOUR_API_TOKEN"

सहेजी गई key को प्राथमिकता मिलती है। CLI .env को स्वचालित रूप से लोड नहीं करता। यह POSIX सिंटैक्स है; PowerShell में $env:SCRAPELESS_API_KEY="YOUR_API_TOKEN" उपयोग होता है।

कस्टम कॉन्फ़िग पाथ Browser की डिफ़ॉल्ट फ़ाइल को नहीं बदलता। रैपर अपनी निर्धारित key को एक एनवायरनमेंट वेरिएबल के माध्यम से पास करता है, लेकिन Browser की डिफ़ॉल्ट सहेजी गई key उसे ओवरराइड कर सकती है। प्रमाणीकरण को सुसंगत रखने के लिए साझा डिफ़ॉल्ट फ़ाइल उपयोग करें।

आउटपुट और रिक्वेस्ट बॉडी

HTTP कमांड पूरे रिस्पॉन्स के लिए --json और आउटपुट सहेजने के लिए -o, --output <file> को सपोर्ट करते हैं। डिफ़ॉल्ट रूप से परिणाम stdout पर जाते हैं; -o के साथ वे इसके बजाय फ़ाइल में सहेजे जाते हैं। प्रगति, पोलिंग के दौरान टास्क-ID सूचनाएँ और त्रुटियाँ stderr पर जाती हैं। --no-wait के साथ, क्रिएशन रिस्पॉन्स, जिसमें उसका टास्क ID शामिल है, परिणाम आउटपुट का हिस्सा होता है।

Unlocker, Crawl और AI क्रिएशन --data '<JSON>' या --data @request.json स्वीकार करते हैं। प्राथमिकता का क्रम स्पष्ट फ़्लैग → बॉडी फ़ील्ड → CLI डिफ़ॉल्ट है; नेस्टेड ऑब्जेक्ट मर्ज होते हैं और ऐरे बदल दिए जाते हैं।

टास्क हैंडलिंग

Crawl और AI क्रिएशन डिफ़ॉल्ट रूप से हर 5 सेकंड पर, अधिकतम 300 सेकंड तक पोल करते हैं। क्रिएशन के बाद तुरंत लौटने के लिए --no-wait जोड़ें। किसी मौजूदा टास्क को उसके लौटाए गए ID से क्वेरी करें:

scrapeless crawl result TASK_ID --wait --timeout 300 --interval 5
scrapeless ai result TASK_ID --platform chatgpt --wait --timeout 300 --interval 5

संबंधित सेवा के लिए उसी ID का उपयोग करें। पोलिंग टाइमआउट सर्वर टास्क को रद्द नहीं करता। Crawl के लिए completed या AI के लिए success जाँचें और वास्तविक कंटेंट देखें; केवल एग्ज़िट कोड 0 पर्याप्त नहीं है।

--timeout और --interval सेकंड का उपयोग करते हैं; स्क्रैपिंग विकल्प --wait-for और --scrape-timeout मिलीसेकंड का उपयोग करते हैं। प्रत्येक HTTP अनुरोध का अलग से 60 सेकंड का टाइमआउट होता है। टास्क-क्रिएशन POST अनुरोध स्वचालित रूप से पुनः प्रयास (retry) नहीं किए जाते।

ब्राउज़र आवश्यकताएँ

रैपर को npm, npm और GitHub Releases तक पहुँच, और कैश लिखने की अनुमति की आवश्यकता होती है। सेशन क्लाउड में चलते हैं; रैपर अलग Chromium इंस्टॉल के बिना स्थानीय रूप से चलता है।

पिन की गई रिलीज़ macOS x64/arm64, Linux x64/arm64 और Windows x64 को सपोर्ट करती है; Windows arm64 बाइनरी शामिल नहीं है।

समस्या निवारण