Pipedream

Pipedream क्या है?

Pipedream एक शक्तिशाली सर्वरलेस एकीकरण प्लेटफॉर्म है जो डेवलपर्स को सैकड़ों ऐप्स और API को आसानी से जोड़ने की अनुमति देता है, जिससे स्वचालित वर्कफ़्लो के त्वरित निर्माण को सक्षम किया जा सके। उपयोगकर्ता बिना किसी बुनियादी ढांचे का प्रबंधन किए जावास्क्रिप्ट, पायथन और अन्य भाषाओं का उपयोग करके कस्टम तर्क लिख सकते हैं।

यह इवेंट-ड्रिवन आर्किटेक्चर का समर्थन करता है और Slack, Notion, GitHub और Stripe जैसी लोकप्रिय सेवाओं के साथ एकीकृत होता है। Pipedream वेबहुक्स, डेटा सिंक्रनाइज़ेशन, अधिसूचना प्रणालियों और अन्य स्वचालन परिदृश्यों के निर्माण के लिए विशेष रूप से उपयुक्त है, जो विकास दक्षता और लचीलेपन को काफी बढ़ाता है।

Scrapeless Pipedream के भीतर निम्नलिखित मॉड्यूल प्रदान करता है:

क्रॉलर
- क्रॉलर स्क्रैपिंग: एकल वेबपेज से डेटा निकालें।
- क्रॉलर क्रॉलिंग: वेबसाइट और उसके लिंक किए गए पृष्ठों को क्रॉल करके व्यापक डेटा निकालें।
Scraping API
- गूगल SERP और गूगल ट्रेंड्स से समृद्ध खोज डेटा को आसानी से एक्सेस और पुनर्प्राप्त करें।
Web Unlocker API
- सुरक्षित या गतिशील पृष्ठों तक पहुंचें। स्वचालित रूप से एंटी-स्क्रैपिंग तंत्र को संभालता है।

शुरुआत करना

इस गाइड में, मैं आपको बताऊंगा कि कैसे सेट अप करें Scrapeless के साथ Pipedream। केवल कुछ बुनियादी कॉन्फ़िगरेशन के साथ, आप किसी भी खोज इंजन से स्क्रैप किए गए डेटा को स्वचालित रूप से एकत्र कर सकते हैं और प्रसंस्कृत कर सकते हैं।

सबसे पहले, आपको निम्नलिखित सेटअप पूरा करना होगा:

Scrapeless API कुंजी: कृपया Scrapeless खाते के लिए साइन अप करें। एक बार पंजीकृत होने के बाद, आप डैशबोर्ड से अपनी API कुंजी तक पहुंच सकते हैं।

Pipedream खाता: Pipedream खाता बनाएं।

Pipedream में अपनी Scrapeless API कुंजी सेट करें

अपनी API कुंजी प्राप्त करने के लिए अपने Scrapeless खाते में लॉग इन करें और डैशबोर्ड पर जाएँ। कुंजी प्राप्त होने के बाद, Pipedream में “खाते” टैब खोलें और नीचे दिखाए अनुसार वहाँ कुंजी जोड़ें:

उसके बाद, अपनी API कुंजी को इस प्रकार सेट करें:

अपना पहला API अनुरोध बनाएं

हम Pipedream के Scrapeless एकीकरण का उपयोग करके Scrapeless API से डेटा प्राप्त करेंगे। सबसे पहले, एक नया वर्कफ़्लो बनाएं। Pipedream डैशबोर्ड पर, “नया वर्कफ़्लो” बटन पर क्लिक करें। इससे एक नया वर्कफ़्लो निर्माण विंडो खुलेगा:

चरण 1. ट्रिगर चरण सेट करें

चुनें कि आप वर्कफ़्लो को मैन्युअल रूप से या वेबहुक, HTTP अनुरोध या किसी अन्य उपलब्ध ट्रिगर का उपयोग करके स्वचालित रूप से ट्रिगर करना चाहते हैं।

इस ट्यूटोरियल के उद्देश्य से, हम वर्कफ़्लो शुरू करने के लिए एक निर्धारित ट्रिगर का उपयोग करेंगे। आप बाद में इसे मैन्युअल निष्पादन या इवेंट-ड्रिवन क्रियाओं जैसे अन्य ट्रिगर के उपयोग के लिए समायोजित कर सकते हैं।

इसका ऐसा दिखना चाहिए:

सहेजने के बाद, आप अपने वर्कफ़्लो में इस ट्रिगर का उपयोग कर पाएंगे। अब हम क्रिया चरण को कॉन्फ़िगर करने के लिए आगे बढ़ सकते हैं।

चरण 2. क्रिया चरण सेट करें

अब, आइए Pipedream वर्कफ़्लो में एक क्रिया चरण जोड़ें। कार्रवाइयाँ ड्रॉपडाउन मेनू से, Scrapeless का चयन करें:

ये संभावित क्रियाएँ हैं:

अगला, उस प्रक्रिया में वह खाता जोड़ें जहाँ आपने अपनी API कुंजी कॉन्फ़िगर की है:

एक बार पूरा हो जाने के बाद, आप अन्य सभी पैरामीटर जोड़ सकते हैं और क्वेरी का परीक्षण कर सकते हैं। ऊपर दिए गए चरणों की तरह ही, आपने अब Pipedream में अपना पहला अनुरोध सेट कर दिया है।

अगला, अपने उपयोग के मामले के आधार पर इसे कॉन्फ़िगर करने के बाद, आप इसे डिप्लॉय करने के लिए तैयार होंगे।

ज्ञान ग्राफ बुद्धिमत्तापूर्ण क्रॉलिंग प्रणाली कैसे बनाएं

पूर्वावश्यकताएँ

आपने Scrapeless पर पंजीकरण कर लिया है और एक API टोकन प्राप्त कर लिया है।
आपके पास एक Discord वेबहुक URL है (सूचनाएँ भेजने के लिए)।

चरण 1: एक ट्रिगर जोड़ें

प्रकार: अनुसूची
ट्रिगर समय: प्रतिदिन 08:00 बजे (UTC)
विधि: Cron या एक निश्चित समय अंतराल का उपयोग करें

चरण 2: पैरामीटर कॉन्फ़िगर करें

घटक:

google-search

पैरामीटर सेटिंग्स:

query: कॉफी
gl: यूएस (वैकल्पिक)
hl: एन (वैकल्पिक)

चरण 3: जानकारी निकालें

यह चरण पिछले चरण में प्राप्त कीवर्ड डेटा से ज्ञान पैनल की जानकारी निकालता है।

निम्नलिखित कोड के साथ एक Node.js कोड चरण जोड़ें:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

चरण 4: Discord सूचना भेजें

यह चरण चरण 3 में प्राप्त जानकारी को आपके निर्दिष्ट Discord चैनल पर भेजता है।

निम्नलिखित उदाहरण कोड के साथ एक Node.js चरण जोड़ें:

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

इस पंक्ति में URL को अपने स्वयं के Discord वेबहुक के साथ बदलें:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

यदि आपके पास अभी तक एक वेबहुक नहीं है, तो आप Discord में निम्नानुसार एक बना सकते हैं:

उस चैनल को खोलें जहाँ आप सूचनाएँ भेजना चाहते हैं।
क्लिक करें चैनल सेटिंग्स > एकीकरण > वेबहुक्स।
एक नया वेबहुक बनाएं और ऊपर webhookUrl उल्लिखित के रूप में उपयोग करने के लिए इसके URL को कॉपी करें।

पूर्वावलोकन (भेजा गया संदेश)

जब Jasper.ai पृष्ठ बदलता है, तो आपको डिस्कॉर्ड में इस तरह का संदेश प्राप्त होगा:

Make Activepieces