Bắt đầu

Trong hướng dẫn này, tôi sẽ hướng dẫn bạn cách thiết lập Scrapeless với Pipedream. Chỉ với một vài cấu hình cơ bản, bạn có thể tự động thu thập và xử lý dữ liệu được thu thập từ bất kỳ công cụ tìm kiếm nào.

Đầu tiên, bạn cần hoàn thành các thiết lập sau:

Khóa API Scrapeless: Vui lòng đăng ký tài khoản Scrapeless. Sau khi đăng ký, bạn có thể truy cập khóa API của mình từ bảng điều khiển.

Tài khoản Pipedream: Tạo một tài khoản Pipedream.

Thiết lập Khóa API Scrapeless trong Pipedream

Bạn cần đăng nhập vào tài khoản Scrapeless của mình và vào bảng điều khiển để lấy khóa API. Sau khi có được khóa API, hãy vào tab “Tài khoản” trong Pipedream và thêm khóa API vào đó, như hình dưới đây:

Sau đó, hãy thiết lập khóa API của bạn như thế này:

Thực hiện Yêu cầu API đầu tiên của bạn

Chúng ta sẽ sử dụng tích hợp Scrapeless của Pipedream để lấy dữ liệu từ API Scrapeless. Đầu tiên, hãy tạo một luồng công việc mới. Trên bảng điều khiển Pipedream, nhấp vào nút “Luồng công việc mới”. Điều này sẽ mở một cửa sổ tạo luồng công việc mới:

Bước 1. Thiết lập Bước Kích hoạt

Chọn xem bạn muốn kích hoạt luồng công việc theo cách thủ công hay tự động bằng webhook, yêu cầu HTTP hoặc bất kỳ bộ kích hoạt nào khác.

Với mục đích của hướng dẫn này, chúng ta sẽ sử dụng Bộ kích hoạt theo lịch trình để bắt đầu luồng công việc. Bạn có thể điều chỉnh điều này sau để sử dụng các bộ kích hoạt khác, chẳng hạn như thực thi thủ công hoặc các hành động dựa trên sự kiện.

Nó sẽ trông như thế này:

Sau khi lưu, bạn sẽ có thể sử dụng bộ kích hoạt này trong luồng công việc của mình. Bây giờ chúng ta có thể tiến hành cấu hình bước hành động.

Bước 2. Thiết lập Bước Hành động

Bây giờ, hãy thêm một bước hành động vào luồng công việc Pipedream. Từ menu thả xuống Hành động, chọn Scrapeless:

Đây là các hành động có thể:

Tiếp theo, thêm tài khoản mà bạn đã cấu hình khóa API của mình vào quy trình này:

Sau khi hoàn tất, bạn có thể thêm tất cả các tham số khác và kiểm tra truy vấn. Giống như các bước ở trên, bây giờ bạn đã thiết lập yêu cầu đầu tiên của mình trong Pipedream.

Tiếp theo, sau khi cấu hình dựa trên trường hợp sử dụng của bạn, bạn sẽ sẵn sàng triển khai nó.

Cách tạo Hệ thống Thu thập dữ liệu thông minh Knowledge Graph

Điều kiện tiên quyết

Bạn đã đăng ký trên Scrapeless và có được mã thông báo API.
Bạn có URL Webhook Discord (để gửi thông báo).

Bước 1: Thêm bộ kích hoạt

Loại: Lịch trình
Thời gian kích hoạt: Mỗi ngày lúc 08:00 (UTC)
Phương pháp: Sử dụng Cron hoặc khoảng thời gian cố định

Bước 2: Cấu hình tham số

Thành phần:

google-search

Cài đặt tham số:

query: coffee
gl: us (tùy chọn)
hl: en (tùy chọn)

Bước 3: Trích xuất thông tin

Bước này trích xuất thông tin bảng kiến thức từ dữ liệu từ khóa thu được ở bước trước.

Thêm một bước mã Node.js với mã sau:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

Bước 4: Gửi thông báo Discord

Bước này gửi thông tin thu được ở Bước 3 đến kênh Discord đã chỉ định của bạn.

Thêm một bước Node.js với mã ví dụ sau:

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

Thay thế URL trong dòng này bằng Webhook Discord của riêng bạn:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

Nếu bạn chưa có Webhook, bạn có thể tạo một cái trong Discord như sau:

Mở kênh nơi bạn muốn gửi thông báo.
Nhấp vào Cài đặt Kênh > Tích hợp > Webhook.
Tạo một Webhook mới và sao chép URL của nó để sử dụng làm webhookUrl đã đề cập ở trên.

Xem trước (Tin nhắn đã gửi)

Khi trang Jasper.ai thay đổi, bạn sẽ nhận được một tin nhắn như thế này trong Discord:

Giới thiệu Giới thiệu