IntegracionesLangChain

LangChain

Qué es LangChain

Conecte Scrapeless a su aplicación Python de LangChain con langchain-scrapeless. Llame a las herramientas directamente para buscar o extraer datos, o regístrelas en un agente para que un modelo pueda elegirlas y utilizar sus resultados.

Comience con el inicio rápido de Google Search y después conéctelo a un agente o elija otro producto a continuación.

Herramientas disponibles

La integración ofrece cuatro áreas de producto. Importe las clases de herramientas desde langchain_scrapeless.

ProductoCuándo usarloClases de herramientas
Scraping API — Google SearchObtener resultados de búsqueda y URL de páginasScrapelessDeepSerpGoogleSearchTool
CrawlExtraer contenido de URL conocidas o descubrir páginas de un sitio webScrapelessCrawlerScrapeTool, ScrapelessCrawlerCrawlTool
Web UnlockerExtraer una página con opciones como el renderizado de JavaScriptScrapelessUniversalScrapingTool
AI ScraperRecopilar respuestas de plataformas de IA y sus fuentes disponiblesScrapelessAIScraperTool, herramientas específicas de cada motor como ScrapelessChatGPTScraperTool y ScrapelessAIScraperResultTool

Nombre de Web Unlocker: El producto se llama Web Unlocker. En langchain-scrapeless 0.1.4, su clase de Python sigue llamándose ScrapelessUniversalScrapingTool; use ese nombre exacto en las importaciones y en el código.

Configuración

Necesita Python 3.10 o posterior y una clave de API de Scrapeless con acceso y créditos para el producto elegido. Las llamadas directas a las herramientas solo requieren esta clave. El ejemplo opcional del agente también requiere una clave del proveedor del modelo.

Esta guía está orientada a langchain-scrapeless 0.1.4, que instala el SDK de Python de Scrapeless 1.3.0. El ejemplo del agente utiliza LangChain 1.x.

Instalar el paquete

Cree y active un entorno virtual.

macOS / Linux:

python3 -m venv .venv
source .venv/bin/activate

Windows PowerShell:

py -3 -m venv .venv
.\.venv\Scripts\Activate.ps1

Después instale la integración:

python -m pip install "langchain-scrapeless==0.1.4"
python -m pip check

Configurar su clave de API

Sustituya el marcador de posición y configure la variable en la terminal donde ejecutará Python.

macOS / Linux:

export SCRAPELESS_API_KEY="YOUR_SCRAPELESS_API_KEY"

Windows PowerShell:

$env:SCRAPELESS_API_KEY = "YOUR_SCRAPELESS_API_KEY"

Las herramientas leen SCRAPELESS_API_KEY automáticamente. No incluya su clave en archivos de código fuente ni en registros compartidos.

Inicio rápido: buscar en Google

Guarde lo siguiente como search.py:

from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool

tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
result = tool.invoke({
    "q": "Scrapeless documentation",
    "hl": "en",
    "gl": "us",
})

items = result.get("organic_results") or []
if not items:
    print("No organic results returned. Inspect the response:", result)
for item in items[:3]:
    print(item.get("title"), item.get("link"))
    print(item.get("snippet", ""))

Ejecútelo en su entorno activado:

python search.py

Cuando hay resultados orgánicos disponibles, el script imprime hasta tres títulos, URL y fragmentos. hl selecciona el idioma de búsqueda y gl el país. Una lista vacía por sí sola no demuestra que la solicitud haya fallado; examine la respuesta completa.

Los fragmentos de búsqueda son resúmenes. Pase las URL devueltas a Crawl cuando necesite el contenido de las páginas. Los ejemplos utilizan handle_tool_error=False para que las excepciones de las herramientas de LangChain se propaguen en lugar de convertirse en salida de la herramienta.

Conectar un agente de LangChain

El agente utiliza un modelo para seleccionar herramientas y redactar respuestas. Scrapeless ejecuta la búsqueda. El uso del proveedor del modelo se contabiliza por separado del uso de Scrapeless.

Instalar y configurar la integración del modelo

En el mismo entorno, instale:

python -m pip install "langchain>=1,<2" "langchain-openai>=1,<2"
python -m pip check

Mantenga SCRAPELESS_API_KEY configurada y añada sus credenciales de OpenAI.

macOS / Linux:

export OPENAI_API_KEY="YOUR_OPENAI_API_KEY"
export OPENAI_MODEL="YOUR_TOOL_CALLING_MODEL"

Windows PowerShell:

$env:OPENAI_API_KEY = "YOUR_OPENAI_API_KEY"
$env:OPENAI_MODEL = "YOUR_TOOL_CALLING_MODEL"

Sustituya el marcador del modelo por un ID de modelo disponible en su cuenta que admita llamadas a herramientas. OPENAI_MODEL es una variable que este ejemplo utiliza explícitamente.

Crear y ejecutar el agente

Guarde como agent.py:

import os

from langchain.agents import create_agent
from langchain_openai import ChatOpenAI
from langchain_scrapeless import ScrapelessDeepSerpGoogleSearchTool

model = ChatOpenAI(model=os.environ["OPENAI_MODEL"])
search_tool = ScrapelessDeepSerpGoogleSearchTool(handle_tool_error=False)
agent = create_agent(model=model, tools=[search_tool])

result = agent.invoke({
    "messages": [{
        "role": "user",
        "content": (
            "Search the web for Scrapeless documentation and return three "
            "relevant documentation links with a short description of each."
        ),
    }],
})

# Show the model's tool calls, tool responses, and final answer.
for message in result["messages"]:
    message.pretty_print()

Ejecute python agent.py. En los mensajes impresos, busque una llamada a scrapeless_deepserp_google_search, la respuesta de la herramienta y una respuesta final basada en esos resultados. Examine la respuesta para comprobar que contiene datos útiles; una respuesta del modelo por sí sola no confirma que se haya llamado a Scrapeless.

Registrar una herramienta la pone a disposición del agente, pero no obliga a llamarla en cada solicitud. Para añadir otra capacidad, cree la instancia de herramienta correspondiente e inclúyala en tools=[...].

Más ejemplos de productos

Estos ejemplos son independientes. Guarde cada bloque como un archivo .py y ejecute python filename.py en el entorno configurado.

Crawl

Use ScrapelessCrawlerScrapeTool para URL conocidas. Proporcione una URL o un lote en urls:

from langchain_scrapeless import ScrapelessCrawlerScrapeTool

tool = ScrapelessCrawlerScrapeTool(handle_tool_error=False)
result = tool.invoke({
    "urls": ["https://example.com"],
    "formats": ["markdown"],
    "only_main_content": True,
    "poll_timeout": 180,
})

if result.get("status") != "completed":
    raise RuntimeError(f"Scrape did not complete: {result.get('status')}")

pages = result.get("data") or []
print("Returned pages:", len(pages))
for page in pages:
    metadata = page.get("metadata") or {}
    print(metadata.get("sourceURL"), metadata.get("statusCode"))
    print(page.get("markdown", ""))

La llamada espera a que finalice la tarea por lotes. Compruebe el estado y el contenido de cada página, además del estado de la tarea. poll_timeout se mide en segundos; el parámetro independiente timeout de la página se mide en milisegundos.

Para descubrir páginas enlazadas, use ScrapelessCrawlerCrawlTool con {"url": "https://example.com", "limit": 5, "formats": ["markdown"]}. También espera a que finalice y devuelve un diccionario con status y data. limit es un máximo, por lo que puede devolver menos páginas. Esta herramienta no expone poll_timeout en la versión 0.1.4.

Web Unlocker

Solicite Markdown con el renderizado de JavaScript activado:

from pathlib import Path

from langchain_scrapeless import ScrapelessUniversalScrapingTool

tool = ScrapelessUniversalScrapingTool(handle_tool_error=False)
content = tool.invoke({
    "url": "https://example.com",
    "js_render": True,
    "response_type": "markdown",
})

if not isinstance(content, str) or not content.strip():
    raise RuntimeError("Expected non-empty Markdown text; inspect the response")

Path("page.md").write_text(content, encoding="utf-8")
print("Saved page.md")

Abra page.md para comprobar el cuerpo extraído. Los formatos de texto incluyen markdown, html y plaintext. Utilice directamente el texto devuelto; no tiene los campos status y data de Crawl. Conserve la URL de entrada junto con el contenido como fuente.

AI Scraper

Use una herramienta específica de un motor o seleccione uno mediante ScrapelessAIScraperTool. Los valores de motor admitidos son chatgpt, perplexity, copilot, gemini, aimode, overview, grok y alexa.

Este ejemplo utiliza el motor ChatGPT de AI Scraper:

from langchain_scrapeless import ScrapelessChatGPTScraperTool

tool = ScrapelessChatGPTScraperTool(handle_tool_error=False)
task = tool.invoke({
    "prompt": "Explain HTTP caching and include sources where available.",
    "country": "US",
    "web_search": True,
    "shopping": False,
    "output_format": "json",
})

if task.get("status") != "success":
    raise RuntimeError(f"Task did not complete: {task.get('task_id')}")

answer = task["task_result"]
print(answer.get("result_text", ""))
print("Links:", answer.get("links") or [])
print("Content references:", answer.get("content_references") or [])

La herramienta ChatGPT devuelve texto de forma predeterminada; output_format="json" devuelve un diccionario de Python con el estado de la tarea y los campos del resultado. La herramienta unificada y las demás herramientas específicas de motor devuelven por defecto un diccionario completo de la tarea. Los campos de entrada y respuesta varían según el motor; por ejemplo, Copilot requiere mode. Las fuentes pueden estar vacías y Google AI Overview puede finalizar sin generar un resumen.

Esta llamada solo requiere SCRAPELESS_API_KEY. AI Scraper recopila respuestas de plataformas; el modelo ChatOpenAI del ejemplo del agente tiene una función y una clave independientes.

Gestión de tareas

La mayoría de los ejemplos anteriores esperan los resultados. Para flujos de trabajo más largos:

  • AI Scraper: establezca wait=False y output_format="json" en la entrada del motor, guarde task_id y recupere el resultado con ScrapelessAIScraperResultTool. Pase el mismo engine. La consulta admite wait, poll_timeout y poll_interval; los dos últimos se expresan en segundos.

  • Extracción por lotes: si la consulta periódica agota el tiempo de espera, conserve el ID de tarea incluido en el error. Use client.scraping_crawl.scrape.check_batch_scrape_status(task_id) a través del SDK de Python para consultar el lote existente.

  • Rastreo de sitios web: use async_crawl_url() del SDK para enviar la tarea y check_crawl_status() para recuperar la tarea guardada. La consulta de estado devuelve un objeto con atributos como status y data.

Estos son flujos de tareas remotas, distintos de async/await de Python. Agotar el tiempo de espera de la consulta no cancela la tarea remota. Consulte el ID existente antes de volver a enviarla. Vea la guía del SDK de Python y los ejemplos del paquete para conocer el uso detallado.

Solución de problemas

ProblemaQué comprobar
Error de importación o dependenciaUse Python 3.10+ y el mismo entorno virtual para instalar y ejecutar. Ejecute python -m pip check y python -m pip show langchain-scrapeless scrapeless langchain-core.
Falta la clave o falla la autenticaciónConfigure la clave en el proceso que ejecuta Python. Compruebe su validez, el acceso al producto y los créditos. La clave del proveedor del modelo del agente es independiente.
Error de validación de parámetrosCompruebe el esquema de la herramienta y el motor seleccionados. En la herramienta unificada AI Scraper, coloque los campos específicos del motor dentro de input. Los nombres de los parámetros del SDK, REST y las herramientas pueden diferir.
Tiempo de espera agotadoConserve el ID de la tarea y siga las instrucciones de consulta anteriores. Volver a enviarla puede crear otra tarea.
Salida vacía o inesperadaExamine la respuesta completa, el estado de la tarea y los campos de contenido solicitados. Al informar de errores de decodificación de texto de Web Unlocker, incluya la versión del SDK y el rastreo de la excepción sin datos sensibles.
El agente no buscaPrimero verifique el inicio rápido con llamada directa. Compruebe el registro de herramientas y que el modelo admita su invocación; después examine los mensajes de ejecución con una solicitud de búsqueda explícita.

Recursos relacionados