Começando

Neste guia, mostrarei como configurar o Scrapeless com o Pipedream. Com algumas configurações básicas, você pode coletar e processar automaticamente dados raspados de qualquer mecanismo de busca.

Primeiro, você precisará concluir a seguinte configuração:

Chave da API Scrapeless: Por favor, crie uma conta Scrapeless. Após o registro, você pode acessar sua chave de API no painel.

Conta Pipedream: Crie uma conta Pipedream.

Configurando sua Chave de API Scrapeless no Pipedream

Você precisa fazer login na sua conta Scrapeless e ir ao painel para obter sua chave de API. Assim que você a tiver, vá para a guia “Contas” no Pipedream e adicione a chave lá, como mostrado abaixo:

Depois disso, configure sua chave de API assim:

Faça sua primeira solicitação de API

Usaremos a integração Scrapeless do Pipedream para buscar dados da API Scrapeless. Primeiro, crie um novo fluxo de trabalho. No painel do Pipedream, clique no botão “Novo Fluxo de Trabalho”. Isso abrirá uma nova janela de criação de fluxo de trabalho:

Passo 1. Configurando a etapa de gatilho

Escolha se você deseja acionar o fluxo de trabalho manualmente ou automaticamente usando um webhook, solicitação HTTP ou qualquer outro gatilho disponível.

Para este tutorial, usaremos um Gatilho Agendado para iniciar o fluxo de trabalho. Você pode ajustar isso posteriormente para usar outros gatilhos, como execução manual ou ações acionadas por eventos.

Deve ficar assim:

Após salvar, você poderá usar este gatilho no seu fluxo de trabalho. Agora podemos prosseguir para configurar a etapa de ação.

Passo 2. Configurando a etapa de ação

Agora, vamos adicionar uma etapa de ação ao fluxo de trabalho do Pipedream. No menu suspenso Ações, selecione Scrapeless:

Estas são as ações possíveis:

Em seguida, adicione a conta onde você configurou sua chave de API a este procedimento:

Após concluir, você pode adicionar todos os outros parâmetros e testar a consulta. Assim como nas etapas acima, você configurou sua primeira solicitação no Pipedream.

Em seguida, após configurá-lo com base em seu caso de uso, você estará pronto para implantá-lo.

Como criar um sistema de rastreamento inteligente de gráfico de conhecimento

Pré-requisitos

Você se registrou no Scrapeless e obteve um token de API.
Você tem uma URL do Webhook do Discord (para enviar notificações).

Passo 1: Adicionar um Gatilho

Tipo: Agendar
Horário do Gatilho: Todos os dias às 08:00 (UTC)
Método: Use Cron ou um intervalo de tempo fixo

Passo 2: Configurar Parâmetros

Componente:

google-search

Configurações de Parâmetros:

query: coffee
gl: us (opcional)
hl: en (opcional)

Passo 3: Extrair Informações

Esta etapa extrai as informações do painel de conhecimento dos dados de palavras-chave obtidos na etapa anterior.

Adicione uma etapa de código Node.js com o seguinte código:

export default defineComponent({
  async run({ steps }) {
    const searchResult = steps.scrape_google?.$return_value;
    const webResults = searchResult?.knowledge_graph.web_results
 
    if (!searchResult || !webResults) {
      throw new Error("❌ No valid results returned from Scrapeless Google Search.");
    }
 
    const links = webResults.map((item) => item.link)
 
    return {
      links,
    };
  }
});

Passo 4: Enviar Notificação do Discord

Esta etapa envia as informações obtidas na Etapa 3 para o seu canal do Discord especificado.

Adicione uma etapa Node.js com o seguinte código de exemplo:

import { axios } from "@pipedream/platform";
 
export default defineComponent({
  async run({ steps, $ }) {
    const results = steps.extract_coffee_search_results.$return_value?.links || []
    console.log("result", results)
    const sendLinks = results.slice(0, 5)
 
    if (!sendLinks || sendLinks.length === 0) {
      console.log("✅ No search results to notify.");
      return { status: "no_results" };
    }
 
    const webhookUrl = "https://discord.com/api/webhooks/1381829187223949404/mweRKdQfJmA5OskoSZ0V_IApucOrMK7AHxN4YaAvjE3SRzp1xnbK4SFZLvMYjwnIFy1V"; // 🟡 Please replace it with your webhook
 
    const lines = sendLinks.map(r => `📌 ${r}`).join("\n\n");
 
    const message = {
      content: `📡 **Keyword Monitor: "coffee"**\n\n${lines}\n\n⏰ Detected at: ${new Date().toLocaleString()}`
    };
 
    try {
      const res = await axios($, {
        method: "POST",
        url: webhookUrl,
        headers: {
          "Content-Type": "application/json"
        },
        data: message,
      });
 
      return { status: "sent", res };
    } catch (err) {
      console.error("❌ Discord webhook failed:", err);
      return { status: "error", error: err.message };
    }
  },
});

Substitua a URL nesta linha pela sua própria Webhook do Discord:

const webhookUrl = "https://discord.com/api/webhooks/your_webhook_id/your_webhook_token";

Se você ainda não tem um Webhook, você pode criar um no Discord da seguinte forma:

Abra o canal onde você deseja enviar notificações.
Clique em Configurações do Canal > Integrações > Webhooks.
Crie um novo Webhook e copie sua URL para usar como webhookUrl mencionado acima.

Prévia (Mensagem Enviada)

Quando a página do Jasper.ai mudar, você receberá uma mensagem como esta no Discord:

Introdução Introdução