IntegracionesPipedream

Pipedream

scrapeless-integration-iconDocs

¿Qué es Pipedream?

Pipedream es una potente plataforma de integración sin servidor que permite a los desarrolladores conectar fácilmente cientos de aplicaciones y APIs, facilitando la creación rápida de flujos de trabajo automatizados. Los usuarios pueden escribir lógica personalizada usando JavaScript, Python y otros lenguajes sin necesidad de gestionar infraestructura alguna.

Admite una arquitectura orientada a eventos e integra servicios populares como Slack, Notion, GitHub y Stripe. Pipedream es especialmente adecuado para construir webhooks, sistemas de sincronización de datos, notificaciones y otros escenarios de automatización, aumentando significativamente la eficiencia y flexibilidad del desarrollo.

Scrapeless proporciona los siguientes módulos dentro de Pipedream:

  1. Rastreador
    • Extracción con el rastreador: Extraiga datos de una única página web.
    • Rastreo con el rastreador: Rastree un sitio web y sus páginas enlazadas para extraer datos completos.
  2. Scraping API
    • Acceda fácilmente y recupere datos detallados de Google SERP y Google Trends.
  3. Web Unlocker API
    • Acceda a páginas protegidas o dinámicas. Maneja automáticamente los mecanismos anti-extracción.

Inicio rápido

En esta guía, le mostraré cómo configurar Scrapeless con Pipedream. Con solo unas configuraciones básicas, podrá recopilar y procesar automáticamente datos extraídos de cualquier motor de búsqueda.

Primero, deberá completar la siguiente configuración:

  1. Clave de API de Scrapeless: Por favor, regístrese para obtener una cuenta de Scrapeless. Una vez registrado, podrá acceder a su clave de API desde el panel de control.

  1. Cuenta de Pipedream: Cree una cuenta de Pipedream.

Configurar su clave de API de Scrapeless en Pipedream

Debe iniciar sesión en su cuenta de Scrapeless y acceder al panel de control para obtener su clave de API. Una vez que la tenga, vaya a la pestaña “Cuentas” en Pipedream y añada allí la clave, como se muestra a continuación:

Después de eso, configure su clave de API de la siguiente manera:

Realice su primera solicitud a la API

Utilizaremos la integración de Scrapeless en Pipedream para obtener datos de la API de Scrapeless. Primero, cree un nuevo flujo de trabajo. En el panel de control de Pipedream, haga clic en el botón “Nuevo flujo de trabajo” . Esto abrirá una nueva ventana de creación de flujo de trabajo:

Paso 1. Configurar el paso de activación

Elija si desea activar el flujo de trabajo manualmente o automáticamente mediante un webhook, una solicitud HTTP o cualquier otro activador disponible.

Para los fines de este tutorial, usaremos un activador programado para iniciar el flujo de trabajo. Puede ajustar esto más adelante para usar otros activadores, como la ejecución manual o acciones basadas en eventos.

Debería verse así:

Después de guardar, podrá utilizar este activador en su flujo de trabajo. Ahora podemos proceder a configurar el paso de acción.

Paso 2. Configurar el paso de acción

  1. Ahora, vamos a añadir un paso de acción al flujo de trabajo de Pipedream. En el menú desplegable Acciones , seleccione Scrapeless:

Estas son las acciones posibles:

  1. A continuación, agregue la cuenta donde configuró su clave de API a este procedimiento:

Una vez completado, puede agregar todos los demás parámetros y probar la consulta. Al igual que los pasos anteriores, ahora ha configurado su primera solicitud en Pipedream.

A continuación, después de configurarlo según su caso de uso, estará listo para implementarlo.

Cómo crear un sistema de rastreo inteligente con grafo de conocimiento

Requisitos previos

  • Ha registrado una cuenta en Scrapeless y obtenido un token de API.
  • Tiene una URL de Webhook de Discord (para enviar notificaciones).

Paso 1: Agregar un disparador

  • Tipo: Programación
  • Hora del disparador: Todos los días a las 08:00 (UTC)
  • Método: Utilice ya sea Cron o un intervalo de tiempo fijo

Paso 2: Configurar parámetros

Componente:

  • google-search

Configuración de parámetros:

  • query: coffee
  • gl: us (opcional)
  • hl: en (opcional)

Paso 3: Extraer información

Este paso extrae la información del panel de conocimiento a partir de los datos de palabras clave obtenidos en el paso anterior.

Agregue un paso de código Node.js con el siguiente código:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

Paso 4: Enviar notificación a Discord

Este paso envía la información obtenida en el Paso 3 al canal de Discord especificado.

Agregue un paso de Node.js con el siguiente código de ejemplo:

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

Reemplace la URL en esta línea con su propio Webhook de Discord:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

Si aún no tiene un Webhook, puede crear uno en Discord siguiendo estos pasos:

  1. Abra el canal al que desea enviar notificaciones.
  2. Haga clic en Configuración del canal > Integraciones > Webhooks.
  3. Cree un nuevo Webhook y copie su URL para usarla como la webhookUrl mencionada anteriormente.

Vista previa (mensaje enviado)

Cuando cambie la página de Jasper.ai, recibirá un mensaje como este en Discord:

MakeActivepieces