Scrapeless CLI

अवलोकन

Scrapeless CLI वेब एक्सट्रैक्शन, वेबसाइट क्रॉलिंग, Google Search के संरचित परिणाम, AI उत्तर, प्रॉक्सी URL जनरेशन और क्लाउड ब्राउज़र संचालन के लिए एक ही scrapeless कमांड प्रदान करता है। इसे टर्मिनल में चलाएँ या अपने ऑटोमेशन स्क्रिप्ट से कॉल करें।

सुविधाएँ

सुविधाकमांड एंट्री पॉइंटउद्देश्य
Web Unlockerscrapeless unlock / scrapeless scrapeकिसी पेज को HTML, Markdown या अन्य समर्थित फ़ॉर्मैट में एक्सट्रैक्ट करें।
Crawlscrapeless crawlवेबसाइट क्रॉल टास्क बनाएँ और उसके परिणाम प्राप्त करें।
AI Scraperscrapeless aiसमर्थित AI प्लेटफ़ॉर्म से उत्तर एकत्र करें।
Google Searchscrapeless scraping-api google-searchभाषा, स्थान और पेजिनेशन विकल्पों के साथ Google Search के संरचित परिणाम प्राप्त करें।
Proxiesscrapeless proxy createस्थानीय रूप से प्रमाणित प्रॉक्सी URL जनरेट करें।
Cloud browserscrapeless browserअपस्ट्रीम क्लाउड ब्राउज़र CLI चलाएँ।

api, scraping-api का उपनाम है। उदाहरण के लिए, scrapeless api google-search और scrapeless scraping-api google-search एक ही कमांड चलाते हैं।

शुरू करें

क्विकस्टार्ट

आवश्यकताएँ

Node.js 22 या बाद का संस्करण और npm उपयोग करें। Node.js CLI का रनटाइम है; आपको JavaScript या TypeScript लिखने की आवश्यकता नहीं है। प्रमाणित सेवाओं के लिए Scrapeless खाता और API key आवश्यक हैं।

1. CLI इंस्टॉल करें

npm install -g scrapeless
scrapeless --version
scrapeless --help

2. अपनी API Key कॉन्फ़िगर करें

Scrapeless डैशबोर्ड से अपनी API key कॉपी करें और YOUR_API_TOKEN को बदलें:

  1. डैशबोर्ड में Settings (सेटिंग्स) खोलें।
  2. API Key Management (API Key प्रबंधन) चुनें।
  3. कोई उपलब्ध key उपयोग करें, या ज़रूरत हो तो Create API Key (API Key बनाएँ) चुनें। नीचे दिए गए कॉन्फ़िगरेशन कमांड के लिए key कॉपी करें।
scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

auth status प्रमाणीकरण और खाते का बैलेंस जाँचता है। क्लाउड अनुरोध और प्रॉक्सी ट्रैफ़िक खाते के क्रेडिट खर्च करते हैं।

3. एक पेज एक्सट्रैक्ट करें

scrapeless unlock https://example.com --type markdown

यह कमांड पेज का एक्सट्रैक्ट किया गया Markdown प्रिंट करता है।

पूरा रिस्पॉन्स देखें

पूरा रिस्पॉन्स, जिसमें उसका कोड और पेज कंटेंट शामिल है, देखने के लिए --json जोड़ें:

scrapeless unlock https://example.com --type markdown --json

4. Google पर खोजें

क्वेरी, भाषा और देश के साथ खोज चलाएँ:

scrapeless scraping-api google-search --q "coffee" --hl en --gl us

कमांड परिणाम का पूरा JSON प्रिंट करता है। इसे फ़ाइल में सहेजने के लिए:

scrapeless scraping-api google-search --q "coffee" --hl en --gl us -o search.json

यदि इंस्टॉल किया गया CLI, scraping-api को नहीं पहचानता है, तो उसे अपडेट करें और कमांड की हेल्प देखें:

npm install -g scrapeless@latest
scrapeless scraping-api google-search --help

उपयोग के उदाहरण

ये उदाहरण चलाने से पहले CLI इंस्टॉल करें और अपनी API key कॉन्फ़िगर करें।

Web Unlocker

किसी चयनित क्षेत्र को HTML के रूप में एक्सट्रैक्ट करें, या पूरा JSON रिस्पॉन्स सहेजें:

scrapeless unlock https://example.com --type html --selector body
scrapeless unlock https://example.com --type markdown --json -o page.json

scrape, unlock का एक उपनाम (alias) है। डिफ़ॉल्ट आउटपुट HTML है, और JavaScript रेंडरिंग सक्षम रहती है।

Crawl

scrapeless crawl https://example.com --limit 3 --max-depth 2 --formats markdown --json -o crawl.json

--formats markdown पेज कंटेंट का फ़ॉर्मैट चुनता है; टास्क का समग्र परिणाम JSON ही रहता है। --include-paths और --exclude-paths से क्रॉल का दायरा सीमित करें।

AI Scraper

scrapeless ai platforms
scrapeless ai chatgpt "Explain what Scrapeless is used for" -o answer.md
scrapeless ai perplexity "What web scraping techniques are available?" --web-search true --json -o answer.json

सफल टास्क डिफ़ॉल्ट रूप से Markdown लौटाते हैं। विकल्प प्लेटफ़ॉर्म के अनुसार अलग-अलग होते हैं; वर्तमान सूची के लिए ai platforms उपयोग करें। अंग्रेज़ी प्रॉम्प्ट केवल उदाहरण हैं: CLI Unicode टेक्स्ट स्वीकार करता है, और भाषा की उपलब्धता चयनित सेवा पर निर्भर करती है।

संरचित खोज परिणाम पाने के लिए scraping-api google-search या उसका छोटा उपनाम api google-search उपयोग करें।

# Search with a Google search operator and a specific location
scrapeless api google-search \
  --q "site:example.com coffee" \
  --location "Seattle,Washington,United States"
 
# Request results starting at offset 10 and save the JSON
scrapeless api google-search \
  --q "coffee" --hl en --gl us --start 10 \
  -o search.json
 
# Search Google News
scrapeless api google-search --q "artificial intelligence" --tbm nws

सामान्य विकल्प:

विकल्पविवरण
--qआवश्यक खोज क्वेरी। Google खोज ऑपरेटर समर्थित हैं। इसे --data के माध्यम से input.q के रूप में भी दिया जा सकता है।
--hl, --glखोज की भाषा और देश के कोड, जैसे en और us।
--location, --uuleमानक स्थान नाम या एन्कोड किया गया Google स्थान। केवल एक का उपयोग करें।
--google-domainGoogle डोमेन, जैसे google.com।
--tbmखोज का प्रकार, जैसे समाचार के लिए nws, चित्रों के लिए isch या स्थानीय परिणामों के लिए lcl।
--startगैर-ऋणात्मक परिणाम ऑफ़सेट। --tbm lcl के लिए 20 के गुणज उपयोग करें।
--safeSafeSearch सेटिंग: active या off।
--deviceवर्तमान में केवल desktop स्वीकार किया जाता है।
--country, --proxy-urlप्रॉक्सी का देश या कस्टम प्रॉक्सी URL।
--timeout, --intervalपोलिंग टाइमआउट और अंतराल, सेकंड में। डिफ़ॉल्ट: 300 और 5।
-o, --outputपरिणाम का JSON फ़ाइल में सहेजें।

--gl खोज का देश नियंत्रित करता है; --country प्रॉक्सी का देश सेट करता है। ये अलग-अलग सेटिंग हैं। गैर-खाली --proxy-url को प्रॉक्सी के देश पर प्राथमिकता मिलती है।

अतिरिक्त रिक्वेस्ट फ़ील्ड के लिए पूरा JSON बॉडी दें। निम्न सामग्री को search-request.json के रूप में सहेजें:

{
  "actor": "scraper.google.search",
  "input": {
    "q": "coffee",
    "hl": "en",
    "gl": "us",
    "as_eq": "instant"
  },
  "proxy": {
    "country": "US"
  }
}

रिक्वेस्ट चलाएँ:

scrapeless api google-search --data @search-request.json -o search.json

स्पष्ट फ़्लैग संबंधित बॉडी फ़ील्ड को ओवरराइड करते हैं। कमांड हमेशा actor को scraper.google.search पर सेट करता है।

सभी CLI विकल्पों के लिए scrapeless scraping-api google-search --help चलाएँ। API विवरण के लिए Google Search दस्तावेज़ देखें।

Proxies

scrapeless proxy gateways
scrapeless proxy create --type residential --country US --gateway us

URL जनरेशन कनेक्टिविटी का परीक्षण किए बिना स्थानीय रूप से होता है। समर्थित प्रकार residential, ipv6 और datacenter हैं; गेटवे us, eu, ap या hostname:port स्वीकार करते हैं। URL में क्रेडेंशियल्स होते हैं; इसे निजी रखें।

Cloud Browser

SESSION_ID को new-session द्वारा लौटाए गए सेशन ID से बदलें:

scrapeless browser new-session --name demo --ttl 300 --json
scrapeless browser --session-id SESSION_ID open https://example.com
scrapeless browser --session-id SESSION_ID snapshot -i
scrapeless browser --session-id SESSION_ID screenshot page.png
scrapeless browser --session-id SESSION_ID close

click @e1 या fill @e2 "hello world" के लिए, सेशन खुला रहते हुए नए स्नैपशॉट से प्राप्त वास्तविक इंटरैक्टिव रेफ़रेंस उपयोग करें। डिफ़ॉल्ट रूप से, पहली बार उपयोग करने पर, जिसमें browser --help भी शामिल है, अपस्ट्रीम CLI इंस्टॉल हो जाता है; कॉन्फ़िगरेशन और टास्क में ब्राउज़र आवश्यकताएँ देखें।

कमांड विकल्पों के लिए scrapeless unlock --help, scrapeless crawl --help, scrapeless ai --help, scrapeless scraping-api google-search --help या scrapeless proxy create --help चलाएँ। browser --help के पहली बार उपयोग पर इंस्टॉलेशन व्यवहार का वर्णन ऊपर किया गया है।

पूरा कमांड रेफ़रेंस और सोर्स से बिल्ड करने के निर्देश CLI रिपॉज़िटरी में हैं। AI सेवा का व्यवहार और बिलिंग AI Scraper दस्तावेज़ में शामिल हैं।

कॉन्फ़िगरेशन और टास्क

क्रेडेंशियल्स

डिफ़ॉल्ट फ़ाइल ~/.scrapeless/config.json है। Key की प्राथमिकता का क्रम कॉन्फ़िगरेशन फ़ाइल → SCRAPELESS_API_TOKEN → SCRAPELESS_API_KEY है। एनवायरनमेंट वेरिएबल उपयोग करने के लिए:

export SCRAPELESS_API_KEY="YOUR_API_TOKEN"

सहेजी गई key को प्राथमिकता मिलती है। CLI .env को स्वचालित रूप से लोड नहीं करता। यह POSIX सिंटैक्स है; PowerShell में $env:SCRAPELESS_API_KEY="YOUR_API_TOKEN" उपयोग होता है।

वेरिएबलउद्देश्य
SCRAPELESS_API_KEYAPI key; Browser द्वारा भी समर्थित।
SCRAPELESS_API_TOKENएकीकृत कमांड के लिए वैकल्पिक key वेरिएबल।
SCRAPELESS_CONFIG_PATHकेवल एकीकृत कमांड के लिए कस्टम कॉन्फ़िगरेशन पाथ।
SCRAPELESS_API_BASE_URLएकीकृत HTTP API ओवरराइड; डिफ़ॉल्ट https://api.scrapeless.com है।
SCRAPELESS_CACHE_DIRBrowser कैश रूट; डिफ़ॉल्ट ~/.cache/scrapeless है।
SCRAPELESS_BROWSER_BINकिसी संगत एक्ज़ीक्यूटेबल का एब्सोल्यूट पाथ; स्वचालित इंस्टॉलेशन को छोड़ देता है।

कस्टम कॉन्फ़िग पाथ Browser की डिफ़ॉल्ट फ़ाइल को नहीं बदलता। रैपर अपनी निर्धारित key को एक एनवायरनमेंट वेरिएबल के माध्यम से पास करता है, लेकिन Browser की डिफ़ॉल्ट सहेजी गई key उसे ओवरराइड कर सकती है। प्रमाणीकरण को सुसंगत रखने के लिए साझा डिफ़ॉल्ट फ़ाइल उपयोग करें।

आउटपुट और रिक्वेस्ट बॉडी

HTTP कमांड पूरे रिस्पॉन्स के लिए --json और आउटपुट सहेजने के लिए -o, --output <file> को सपोर्ट करते हैं। डिफ़ॉल्ट रूप से परिणाम stdout पर जाते हैं; -o के साथ वे फ़ाइल में सहेजे जाते हैं। प्रगति, पोलिंग के दौरान टास्क-ID सूचनाएँ और त्रुटियाँ stderr पर जाती हैं। Crawl और AI क्रिएशन में, --no-wait क्रिएशन रिस्पॉन्स और उसके टास्क ID को परिणाम आउटपुट में शामिल करता है।

Unlocker, Crawl, AI और Scraping API के क्रिएशन कमांड --data '<JSON>' या --data @request.json स्वीकार करते हैं। प्राथमिकता का क्रम स्पष्ट फ़्लैग → बॉडी फ़ील्ड → CLI डिफ़ॉल्ट है; नेस्टेड ऑब्जेक्ट मर्ज होते हैं और ऐरे बदल दिए जाते हैं।

Google Search हमेशा परिणाम का पूरा JSON लौटाता है, भले ही --json न दिया गया हो। इसे सहेजने के लिए -o, --output <file> उपयोग करें। टास्क-ID सूचनाएँ और त्रुटियाँ stderr पर जाती हैं।

टास्क हैंडलिंग

Crawl और AI क्रिएशन डिफ़ॉल्ट रूप से हर 5 सेकंड पर, अधिकतम 300 सेकंड तक पोल करते हैं। क्रिएशन के बाद तुरंत लौटने के लिए --no-wait जोड़ें। किसी मौजूदा टास्क को उसके लौटाए गए ID से क्वेरी करें:

scrapeless crawl result TASK_ID --wait --timeout 300 --interval 5
scrapeless ai result TASK_ID --platform chatgpt --wait --timeout 300 --interval 5

संबंधित सेवा के लिए उसी ID का उपयोग करें। पोलिंग टाइमआउट सर्वर टास्क को रद्द नहीं करता। Crawl के लिए completed या AI के लिए success जाँचें और वास्तविक कंटेंट देखें; केवल एग्ज़िट कोड 0 पर्याप्त नहीं है।

--timeout और --interval सेकंड का उपयोग करते हैं; स्क्रैपिंग विकल्प --wait-for और --scrape-timeout मिलीसेकंड का उपयोग करते हैं। प्रत्येक HTTP अनुरोध का अलग से 60 सेकंड का टाइमआउट होता है। टास्क-क्रिएशन POST अनुरोध स्वचालित रूप से पुनः प्रयास (retry) नहीं किए जाते।

Google Search टास्क

HTTP 200 पर Google Search तुरंत परिणाम लौटाता है। यदि API, HTTP 201 और taskId के साथ रिस्पॉन्स देता है, तो CLI हर 5 सेकंड पर अधिकतम 300 सेकंड तक परिणाम के लिए अपने आप पोल करता है। --interval और --timeout से ये मान बदलें।

नई रिक्वेस्ट बनाए बिना मौजूदा टास्क की जाँच फिर से शुरू करने के लिए:

scrapeless scraping-api result TASK_ID \
  --timeout 300 --interval 5 \
  -o search.json

result कमांड अपने आप पोल करता है; --wait फ़्लैग की आवश्यकता नहीं है।

HTTP 4xx या 5xx रिस्पॉन्स और पोलिंग टाइमआउट पर एग्ज़िट कोड 1 होता है। पोलिंग टाइमआउट होने पर stderr में टास्क ID, अंतिम रिस्पॉन्स और जाँच जारी रखने का कमांड शामिल होता है। टाइमआउट सर्वर के टास्क को रद्द नहीं करता। टास्क बनाने वाली POST रिक्वेस्ट अपने आप दोबारा नहीं भेजी जातीं।

ब्राउज़र आवश्यकताएँ

रैपर को npm, npm और GitHub Releases तक पहुँच, और कैश लिखने की अनुमति की आवश्यकता होती है। सेशन क्लाउड में चलते हैं; रैपर अलग Chromium इंस्टॉल के बिना स्थानीय रूप से चलता है।

पिन की गई रिलीज़ macOS x64/arm64, Linux x64/arm64 और Windows x64 को सपोर्ट करती है; Windows arm64 बाइनरी शामिल नहीं है।

समस्या निवारण

समस्याक्या जाँचें
Key मौजूद नहीं है या HTTP 401/403सहेजी गई key, खाते की अनुमतियाँ और बैलेंस जाँचें; scrapeless auth status चलाएँ।
Crawl या AI पोलिंग टाइमआउटटास्क ID सुरक्षित रखें और ऊपर दिए गए result ... --wait कमांड उपयोग करें; स्थिति और वास्तविक कंटेंट देखें।
Browser इंस्टॉलेशन विफलnpm, नेटवर्क एक्सेस, कैश लिखने की अनुमतियाँ और ऊपर दी गई प्लेटफ़ॉर्म आवश्यकताएँ जाँचें।
अज्ञात scraping-api कमांडnpm install -g scrapeless@latest से अपडेट करें, फिर scrapeless scraping-api google-search --help चलाएँ।
Google Search पोलिंग टाइमआउटबताए गए टास्क ID के साथ scrapeless scraping-api result TASK_ID उपयोग करें। आवश्यकता होने पर --timeout बढ़ाएँ।
Google Search पैरामीटर सत्यापन विफलगैर-खाली क्वेरी दें, --location और --uule में से केवल एक उपयोग करें और गैर-ऋणात्मक --start दें। स्थानीय खोज के लिए ऑफ़सेट 20 के गुणज होने चाहिए।