आरंभ करना

इस गाइड में, मैं आपको स्क्रैपलेस को पाइप्ड्रीम के साथ कैसे सेट अप करना है, इसके बारे में बताऊँगा। कुछ ही बुनियादी कॉन्फ़िगरेशन के साथ, आप किसी भी सर्च इंजन से स्क्रैप किए गए डेटा को स्वचालित रूप से एकत्रित और संसाधित कर सकते हैं।

सबसे पहले, आपको निम्नलिखित सेटअप पूरा करने की आवश्यकता होगी:

स्क्रैपलेस API कुंजी: कृपया स्क्रैपलेस खाता साइन अप करें। पंजीकरण के बाद, आप डैशबोर्ड से अपनी API कुंजी एक्सेस कर सकते हैं।

पाइप्ड्रीम खाता: एक पाइप्ड्रीम खाता बनाएँ।

पाइप्ड्रीम में अपनी स्क्रैपलेस API कुंजी सेट करें

आपको अपनी स्क्रैपलेस खाते में लॉग इन करने और अपनी API कुंजी प्राप्त करने के लिए डैशबोर्ड पर जाने की आवश्यकता है। एक बार आपके पास यह हो जाने के बाद, पाइप्ड्रीम में “खाते” टैब पर जाएँ और वहाँ कुंजी जोड़ें, जैसा कि नीचे दिखाया गया है:

उसके बाद, अपनी API कुंजी इस प्रकार सेट करें:

अपना पहला API अनुरोध करें

हम स्क्रैपलेस API से डेटा प्राप्त करने के लिए पाइप्ड्रीम के स्क्रैपलेस इंटीग्रेशन का उपयोग करेंगे। सबसे पहले, एक नया वर्कफ़्लो बनाएँ। पाइप्ड्रीम डैशबोर्ड पर, “नया वर्कफ़्लो” बटन पर क्लिक करें। यह एक नई वर्कफ़्लो निर्माण विंडो खोलेगा:

चरण 1. ट्रिगर चरण सेट करें

चुनें कि आप वेबहुक, HTTP अनुरोध, या किसी अन्य उपलब्ध ट्रिगर का उपयोग करके वर्कफ़्लो को मैन्युअल रूप से या स्वचालित रूप से ट्रिगर करना चाहते हैं या नहीं।

इस ट्यूटोरियल के उद्देश्य से, हम वर्कफ़्लो शुरू करने के लिए एक अनुसूचित ट्रिगर का उपयोग करेंगे। आप बाद में इसे अन्य ट्रिगर, जैसे मैन्युअल निष्पादन या ईवेंट-संचालित क्रियाओं का उपयोग करने के लिए समायोजित कर सकते हैं।

यह इस तरह दिखना चाहिए:

सहेजने के बाद, आप अपने वर्कफ़्लो में इस ट्रिगर का उपयोग कर सकेंगे। अब हम एक्शन स्टेप को कॉन्फ़िगर करने के लिए आगे बढ़ सकते हैं।

चरण 2. एक्शन चरण सेट करें

अब, आइए पाइप्ड्रीम वर्कफ़्लो में एक एक्शन स्टेप जोड़ें। एक्शन ड्रॉपडाउन मेनू से, स्क्रैपलेस चुनें:

ये संभावित क्रियाएँ हैं:

इसके बाद, उस खाते को जोड़ें जहाँ आपने इस प्रक्रिया में अपनी API कुंजी कॉन्फ़िगर की है:

एक बार पूरा हो जाने के बाद, आप अन्य सभी पैरामीटर जोड़ सकते हैं और क्वेरी का परीक्षण कर सकते हैं। ऊपर दिए गए चरणों की तरह ही, आपने अब पाइप्ड्रीम में अपना पहला अनुरोध सेट कर लिया है।

इसके बाद, अपने उपयोग के मामले के आधार पर इसे कॉन्फ़िगर करने के बाद, आप इसे परिनियोजित करने के लिए तैयार होंगे।

नॉलेज ग्राफ इंटेलिजेंट क्रॉलिंग सिस्टम कैसे बनाएं

पूर्वापेक्षाएँ

आपने स्क्रैपलेस पर पंजीकरण कराया है और एक API टोकन प्राप्त किया है।
आपके पास एक डिस्कॉर्ड वेबहुक URL है (सूचनाएँ भेजने के लिए)।

चरण 1: एक ट्रिगर जोड़ें

प्रकार: शेड्यूल
ट्रिगर समय: प्रतिदिन 08:00 (UTC) पर
विधि: Cron या निश्चित समय अंतराल का उपयोग करें

चरण 2: पैरामीटर कॉन्फ़िगर करें

घटक:

google-search

पैरामीटर सेटिंग्स:

query: coffee
gl: us (वैकल्पिक)
hl: en (वैकल्पिक)

चरण 3: जानकारी निकालें

यह चरण पिछले चरण में प्राप्त कीवर्ड डेटा से नॉलेज पैनल जानकारी निकालता है।

निम्नलिखित कोड के साथ एक Node.js कोड चरण जोड़ें:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

चरण 4: डिस्कॉर्ड अधिसूचना भेजें

यह चरण चरण 3 में प्राप्त जानकारी को आपके निर्दिष्ट डिस्कॉर्ड चैनल पर भेजता है।

निम्नलिखित उदाहरण कोड के साथ एक Node.js चरण जोड़ें:

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

इस पंक्ति में URL को अपने स्वयं के डिस्कॉर्ड वेबहुक से बदलें:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

यदि आपके पास अभी तक कोई वेबहुक नहीं है, तो आप डिस्कॉर्ड में इस प्रकार एक बना सकते हैं:

उस चैनल को खोलें जहाँ आप सूचनाएँ भेजना चाहते हैं।
चैनल सेटिंग्स > एकीकरण > वेबहूक पर क्लिक करें।
एक नया वेबहुक बनाएँ और ऊपर बताए गए webhookUrl के रूप में इसके URL की प्रतिलिपि बनाएँ।

पूर्वावलोकन (संदेश भेजा गया)

जब Jasper.ai पृष्ठ बदलता है, तो आपको डिस्कॉर्ड में इस तरह का संदेश प्राप्त होगा:

परिचय परिचय