开始

在本指南中，我将引导您完成使用Scrapeless和Pipedream的设置过程。只需一些基本的配置，您就可以自动收集和处理从任何搜索引擎抓取的数据。

首先，您需要完成以下设置：

Scrapeless API 密钥: 请注册 Scrapeless 帐户。注册后，您可以从仪表板访问您的 API 密钥。

Pipedream 帐户: 创建一个 Pipedream 帐户。

在 Pipedream 中设置您的 Scrapeless API 密钥

您需要登录您的 Scrapeless 帐户并转到仪表板以获取您的 API 密钥。获取密钥后，转到 Pipedream 中的**“帐户”**选项卡并在那里添加密钥，如下所示：

之后，像这样设置您的 API 密钥：

发出您的第一个 API 请求

我们将使用Pipedream 的 Scrapeless 集成从 Scrapeless API 获取数据。首先，创建一个新的工作流程。在 Pipedream 仪表板中，单击**“新建工作流程”**按钮。这将打开一个新的工作流程创建窗口：

步骤 1. 设置触发步骤

选择您是想手动触发工作流程，还是使用 webhook、HTTP 请求或任何其他可用的触发器自动触发工作流程。

在本教程中，我们将使用计划触发器来启动工作流程。您可以稍后调整此设置以使用其他触发器，例如手动执行或事件驱动的操作。

它应该如下所示：

保存后，您就可以在工作流程中使用此触发器了。现在我们可以继续配置操作步骤。

步骤 2. 设置操作步骤

现在，让我们向 Pipedream 工作流程添加一个操作步骤。从操作下拉菜单中，选择Scrapeless:

以下是可能的动作：

接下来，将您已配置 API 密钥的帐户添加到此过程中：

完成后，您可以添加所有其他参数并测试查询。就像上面的步骤一样，您现在已在 Pipedream 中设置了您的第一个请求。

接下来，根据您的用例配置后，您就可以部署它了。

如何创建一个知识图谱智能爬取系统

先决条件

您已在 Scrapeless 上注册并获得了 API 令牌。
您拥有一个 Discord Webhook URL（用于发送通知）。

步骤 1：添加触发器

类型: 计划
触发时间: 每天 08:00（UTC）
方法: 使用Cron或固定时间间隔

步骤 2：配置参数

组件:

google-search

参数设置:

query: coffee
gl: us (可选)
hl: en (可选)

步骤 3：提取信息

此步骤从上一步获得的关键词数据中提取知识面板信息。

添加一个包含以下代码的 Node.js 代码步骤：

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

步骤 4：发送 Discord 通知

此步骤将步骤 3 中获得的信息发送到您指定的 Discord 频道。

添加一个包含以下示例代码的 Node.js 步骤：

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

将此行中的 URL 替换为您自己的 Discord Webhook：

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

如果您还没有 Webhook，您可以按照以下步骤在 Discord 中创建一个：

打开您要发送通知的频道。
点击频道设置 > 集成 > Webhook。
创建一个新的 Webhook 并复制其 URL 以用作上面提到的 webhookUrl。

预览（已发送的消息）

当 Jasper.ai 页面发生更改时，您将在 Discord 中收到如下消息：

介绍介绍