Scrapeless Skills

Scrapeless Skills आपके AI कोडिंग असिस्टेंट को प्राकृतिक भाषा के निर्देशों के ज़रिए Scrapeless का उपयोग करने देता है। किसी वेबपेज को निकालें, पूरी वेबसाइट से कंटेंट इकट्ठा करें, AI प्लेटफ़ॉर्म से क्वेरी करें, क्लाउड ब्राउज़र के साथ इंटरैक्ट करें, प्रॉक्सी URL जनरेट करें, या Google Search, Amazon और TikTok का स्ट्रक्चर्ड डेटा प्राप्त करें।

हर skill में टास्क के निर्देश और उस टास्क को पूरा करने के लिए आवश्यक रेफ़रेंस या स्क्रिप्ट शामिल होते हैं। आपका असिस्टेंट Agent Skills को सपोर्ट करने वाला और लोकल कमांड चलाने में सक्षम होना चाहिए।

Skills रिपॉज़िटरी देखें

उपलब्ध skills

Skillइसका उपयोग करें
web-unlockerकिसी एक वेबपेज को HTML, Markdown, टेक्स्ट या अन्य समर्थित आउटपुट के रूप में निकालने के लिए, जिसमें JavaScript से रेंडर होने वाले पेज भी शामिल हैं।
crawlपेज सीमा, डेप्थ कंट्रोल, पाथ फ़िल्टर और आउटपुट फ़ॉर्मेट के साथ कई पेज इकट्ठा करने के लिए।
ai-scraperChatGPT, Gemini, Copilot, Perplexity, Grok, Alexa, Google AI Mode और Google AI Overview से उत्तर और उपलब्ध साइटेशन इकट्ठा करने के लिए।
agent-browserक्लाउड ब्राउज़र सेशन में पेज पर नेविगेट करने, एलिमेंट पर क्लिक करने, फ़ॉर्म भरने, पेज स्नैपशॉट जाँचने और स्क्रीनशॉट लेने के लिए।
proxyलोकेशन और सेशन सेटिंग्स के साथ प्रमाणित रेज़िडेंशियल, IPv6 या डेटासेंटर प्रॉक्सी URL जनरेट करने के लिए।
scraping-apiGoogle Search, Amazon और TikTok का स्ट्रक्चर्ड डेटा प्राप्त करने के लिए।

एक पेज निकालने के लिए Web Unlocker, कई पेज इकट्ठा करने के लिए Crawl, और लगातार इंटरैक्शन वाले वर्कफ़्लो के लिए Agent Browser का उपयोग करें। AI द्वारा जनरेट किए गए उत्तरों के लिए AI Scraper और मानक Google Search परिणामों या समर्थित Amazon और TikTok डेटासेट के लिए Scraping API का उपयोग करें।

क्विकस्टार्ट

1. अपना एनवायरनमेंट तैयार करें

आपको चाहिए:

  • नीचे दिए गए इंस्टॉलेशन वर्कफ़्लो के लिए Node.js 22.20 या बाद का संस्करण और npm।
  • Agent Skills और लोकल कमांड एक्ज़ीक्यूशन को सपोर्ट करने वाला AI कोडिंग असिस्टेंट।
  • एक Scrapeless अकाउंट और डैशबोर्ड से API कुंजी।
  • आपकी चुनी गई skills द्वारा उपयोग की जाने वाली सेवाओं तक नेटवर्क एक्सेस। Agent Browser पहली बार उपयोग पर npm और GitHub Releases से डिपेंडेंसी भी डाउनलोड करता है।

Node.js जाँचें और Scrapeless CLI इंस्टॉल करें:

node --version
npm install -g scrapeless
scrapeless --version

पाँच skills CLI का उपयोग करती हैं। scraping-api skill अपनी बंडल की गई Node.js स्क्रिप्ट का उपयोग करती है और इसके लिए CLI को ग्लोबल रूप से इंस्टॉल करने की आवश्यकता नहीं है।

2. skills इंस्टॉल करें

अपनी प्रोजेक्ट डायरेक्टरी से यह चलाएँ:

npx skills add scrapeless-ai/scrapeless-skills

skills और लक्ष्य असिस्टेंट चुनने के लिए प्रॉम्प्ट का पालन करें।

केवल एक skill इंस्टॉल करने के लिए:

npx skills add scrapeless-ai/scrapeless-skills --skill web-unlocker

सभी प्रोजेक्ट में उपयोग के लिए ग्लोबल रूप से इंस्टॉल करने के लिए:

npx skills add scrapeless-ai/scrapeless-skills -g

समर्थित असिस्टेंट और इंस्टॉलेशन विकल्पों के लिए Skills इंस्टॉलर दस्तावेज़ देखें।

3. अपनी API कुंजी कॉन्फ़िगर करें

Scrapeless डैशबोर्ड से अपनी API कुंजी कॉपी करें। YOUR_API_TOKEN को अपनी कुंजी से बदलें और ये कमांड लोकल रूप से चलाएँ:

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

डिफ़ॉल्ट कॉन्फ़िगरेशन फ़ाइल ~/.scrapeless/config.json है। CLI, बंडल की गई Scraping API स्क्रिप्ट और क्लाउड ब्राउज़र इस साझा कॉन्फ़िगरेशन का उपयोग कर सकते हैं।

एनवायरनमेंट वेरिएबल के ज़रिए कॉन्फ़िगर करने के लिए, Bash या Zsh में यह उपयोग करें:

export SCRAPELESS_API_KEY='YOUR_API_TOKEN'

अपने असिस्टेंट को उसी शेल से लॉन्च करें ताकि उसे यह वेरिएबल मिल जाए। अलग से लॉन्च किए गए असिस्टेंट, जिसमें डेस्कटॉप एप्लिकेशन से लॉन्च किया गया असिस्टेंट भी शामिल है, को अपने स्वयं के एनवायरनमेंट कॉन्फ़िगरेशन या सहेजी गई कॉन्फ़िगरेशन फ़ाइल तक एक्सेस की आवश्यकता होती है।

यदि आपने केवल scraping-api इंस्टॉल की है, तो आप CLI इंस्टॉल किए बिना एनवायरनमेंट वेरिएबल का उपयोग कर सकते हैं। ऊपर दिए गए config और auth कमांड के लिए CLI आवश्यक है।

अपनी कुंजी को चैट प्रॉम्प्ट, साझा फ़ाइलों और लॉग से दूर रखें। क्रेडेंशियल संभालने के मार्गदर्शन के लिए अपनी API कुंजी प्राप्त करें और सुरक्षित रखें देखें।

4. अपना पहला टास्क चलाएँ

अपने असिस्टेंट से कहें:

web-unlocker skill का उपयोग करके https://example.com को Markdown के रूप में निकालें
और कंटेंट को page.md में सेव करें।

यदि आपका असिस्टेंट $skill-name के ज़रिए स्पष्ट इनवोकेशन को सपोर्ट करता है, तो आप यह भी लिख सकते हैं:

$web-unlocker का उपयोग करके https://example.com को Markdown के रूप में निकालें
और कंटेंट को page.md में सेव करें।

असिस्टेंट द्वारा रिपोर्ट किए गए परिणाम और जनरेट की गई फ़ाइल की समीक्षा करें। केवल सफल इंस्टॉलेशन से यह पुष्टि नहीं होती कि डेटा अनुरोध पूरा हो गया है।

टास्क के उदाहरण

लक्ष्य URL या प्लेटफ़ॉर्म, दायरा और अपना वांछित आउटपुट बताएँ। उदाहरण URL और खोज शब्दों को अपने इनपुट से बदलें।

वेबपेज निकालें

web-unlocker skill का उपयोग करके https://example.com को Markdown के रूप में निकालें।
निकाले गए कंटेंट को page.md में सेव करें।

Web Unlocker इंटरैक्टिव ब्राउज़र सेशन बनाए रखे बिना एक पेज निकालने को सपोर्ट करता है। JavaScript रेंडरिंग डिफ़ॉल्ट रूप से सक्षम होती है।

वेबसाइट क्रॉल करें

crawl skill का उपयोग करके https://example.com से अधिकतम 10 पेज इकट्ठा करें।
बाहरी लिंक अक्षम रखें, केवल मुख्य कंटेंट को Markdown के रूप में निकालें,
और क्रॉल परिणामों को crawl.json में सेव करें।

पेज का कंटेंट Markdown में हो सकता है, जबकि पूरा क्रॉल परिणाम JSON ही रहता है। जब आपको सीमित संग्रह चाहिए, तो पेज सीमा और पाथ फ़िल्टर शामिल करें।

AI उत्तर इकट्ठा करें

ai-scraper skill का उपयोग करके ChatGPT से पूछें:
"वेब स्क्रैपिंग के मुख्य उपयोग क्या हैं?"
पूरे उत्तर को JSON के रूप में सेव करें और लौटाए गए सभी साइटेशन सुरक्षित रखें।

उपलब्ध फ़ील्ड और विकल्प प्लेटफ़ॉर्म पर निर्भर करते हैं। पूरा JSON आउटपुट स्ट्रक्चर्ड फ़ील्ड को सुरक्षित रखता है; डिफ़ॉल्ट CLI आउटपुट Markdown निकालता है। साइटेशन केवल तभी शामिल होते हैं जब सेवा उन्हें लौटाती है।

ब्राउज़र ऑटोमेट करें

agent-browser skill का उपयोग करके एक क्लाउड ब्राउज़र सेशन बनाएँ,
https://example.com खोलें, पेज की जाँच करें, और स्क्रीनशॉट को
page.png में सेव करें। काम पूरा होने पर सेशन बंद करें।

इंटरैक्टिव टास्क के लिए, असिस्टेंट वर्तमान पेज स्नैपशॉट से एलिमेंट रेफ़रेंस का उपयोग करता है और पूरे वर्कफ़्लो में एक ही सेशन ID बनाए रखता है।

प्रॉक्सी URL जनरेट करें

proxy skill का उपयोग करके एशिया-प्रशांत गेटवे के ज़रिए
एक US रेज़िडेंशियल प्रॉक्सी URL जनरेट करें। इसे proxy.txt नाम की
एक निजी लोकल फ़ाइल में सेव करें और अपने सारांश में पासवर्ड छिपाएँ।

प्रॉक्सी URL लोकल रूप से जनरेट होता है। यह कनेक्टिविटी की जाँच नहीं करता, API कुंजी को सत्यापित नहीं करता, और उपलब्ध बैलेंस की पुष्टि नहीं करता। जनरेट किए गए URL में क्रेडेंशियल होते हैं।

स्ट्रक्चर्ड डेटा प्राप्त करें

scraping-api skill का उपयोग करके hl=en और gl=us के साथ
Google पर "coffee" खोजें। पूरे JSON रिस्पॉन्स को google-results.json में सेव करें।

यही skill Amazon और TikTok डेटासेट को भी सपोर्ट करती है। उदाहरण के लिए:

scraping-api skill का उपयोग करके keywords अनुरोध प्रकार और पेज 1 के साथ
Amazon.com पर "coffee" खोजें। JSON रिस्पॉन्स सेव करें।

असिस्टेंट skill की बंडल की गई scripts/scrape.mjs फ़ाइल और संबंधित इनपुट रेफ़रेंस का उपयोग करता है। स्क्रिप्ट का पाथ इंस्टॉल की गई skill डायरेक्टरी के भीतर ही रिज़ॉल्व होना चाहिए।

कॉन्फ़िगरेशन

क्रेडेंशियल प्राथमिकता

CLI और बंडल की गई Scraping API स्क्रिप्ट इस क्रम में क्रेडेंशियल पढ़ती हैं:

  1. कॉन्फ़िगरेशन फ़ाइल में apiKey, पुराने api_token फ़ील्ड के सपोर्ट के साथ।
  2. SCRAPELESS_API_TOKEN।
  3. SCRAPELESS_API_KEY।

सहेजी गई कुंजी एनवायरनमेंट वेरिएबल से अधिक प्राथमिकता रखती है। अकाउंट बदलते समय, किसी अलग एनवायरनमेंट कुंजी का उपयोग करने से पहले सहेजी गई कुंजी को अपडेट करें या हटाएँ:

scrapeless config remove api_token

कॉन्फ़िगरेशन फ़ाइल का पता लगाने के लिए scrapeless config path और मास्क की गई सेटिंग्स देखने के लिए scrapeless config list का उपयोग करें।

SCRAPELESS_CONFIG_PATH CLI और बंडल की गई स्क्रिप्ट के लिए कॉन्फ़िगरेशन पाथ को ओवरराइड करता है। यह क्लाउड ब्राउज़र के अपने डिफ़ॉल्ट कॉन्फ़िगरेशन पाथ को नहीं बदलता। सभी छह skills में क्रेडेंशियल एक जैसे रखने के लिए साझा डिफ़ॉल्ट फ़ाइल का उपयोग करें।

.env फ़ाइल का उपयोग

CLI और बंडल की गई स्क्रिप्ट .env को अपने आप लोड नहीं करतीं। यदि आप SCRAPELESS_API_KEY वाली .env फ़ाइल रखते हैं, तो अपना असिस्टेंट शुरू करने से पहले उसे लोड करें। Bash या Zsh में:

set -a
. ./.env
set +a

.env को वर्ज़न कंट्रोल से बाहर रखें।

लंबे समय तक चलने वाले टास्क

AI Scraper, Crawl और Scraping API परिणाम तैयार होने से पहले एक टास्क ID लौटा सकते हैं। उस ID को सुरक्षित रखें और वही अनुरोध दोबारा भेजने के बजाय मौजूदा टास्क का परिणाम प्राप्त करें।

CLI आधारित टास्क के लिए, TASK_ID को लौटाए गए ID से बदलें:

scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --json

उसी प्लेटफ़ॉर्म का उपयोग करें जिससे AI टास्क बनाया गया था। AI Scraper के लिए success या Crawl के लिए completed की पुष्टि करें। पोलिंग टाइमआउट होने पर एग्ज़िट कोड 0 के साथ अधूरा रिस्पॉन्स मिल सकता है, इसलिए स्टेटस और कंटेंट की जाँच करें।

किसी Scraping API टास्क को फिर से शुरू करने के लिए, नीचे दिया गया कमांड इंस्टॉल की गई scraping-api skill डायरेक्टरी से चलाएँ, या स्क्रिप्ट पाथ को उसके एब्सोल्यूट पाथ से बदलें:

node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180

पोलिंग टाइमआउट होने पर स्क्रिप्ट कोड 1 के साथ बाहर निकलती है और उपलब्ध होने पर टास्क ID शामिल करती है। क्लाइंट टाइमआउट से सर्वर टास्क रद्द नहीं होता।

समस्या निवारण

समस्याक्या जाँचें
असिस्टेंट को skill नहीं मिलतीपुष्टि करें कि आपने इसे सही असिस्टेंट और स्कोप के लिए इंस्टॉल किया है। इंस्टॉल की गई skills देखने के लिए npx skills list का उपयोग करें और स्कोप विकल्पों के लिए इंस्टॉलर दस्तावेज़ देखें।
scrapeless नहीं मिलाCLI इंस्टॉल करें और सुनिश्चित करें कि असिस्टेंट अपने PATH के ज़रिए npm एक्ज़ीक्यूटेबल डायरेक्टरी तक पहुँच सकता है।
कुंजी गायब है या HTTP 401/403सहेजी गई कॉन्फ़िगरेशन और एनवायरनमेंट वेरिएबल जाँचें। यदि CLI इंस्टॉल है, तो scrapeless auth status चलाएँ।
.env फ़ाइल का कोई असर नहीं होताइसे स्पष्ट रूप से लोड करें और कॉन्फ़िगर किए गए एनवायरनमेंट से असिस्टेंट शुरू करें।
पहली बार उपयोग पर ब्राउज़र सेटअप विफल होता हैnpm और GitHub Releases तक एक्सेस और ब्राउज़र कैश में लिखने की अनुमतियाँ जाँचें। scrapeless browser --help भी इंस्टॉलेशन शुरू कर सकता है।
टास्क अभी भी पेंडिंग हैउसका टास्क ID सुरक्षित रखें और परिणाम प्राप्त करना फिर से शुरू करें। टास्क को पूरा मानने से पहले लौटाया गया स्टेटस जाँचें।
Scraping API स्क्रिप्ट नहीं मिलतीपुष्टि करें कि पूरी skill डायरेक्टरी इंस्टॉल हुई है। scripts/scrape.mjs को अपनी प्रोजेक्ट डायरेक्टरी के बजाय उसी डायरेक्टरी के सापेक्ष रिज़ॉल्व करें।

मैन्युअल इंस्टॉलेशन के लिए, हर skill की पूरी डायरेक्टरी कॉपी करें, जिसमें scripts/, references/ और agents/ जैसी सबडायरेक्टरी भी शामिल हैं। केवल SKILL.md कॉपी करने से आवश्यक फ़ाइलें छूट सकती हैं।

संबंधित संसाधन