IntegracionesLlamaIndex

LlamaIndex

¿Qué es LlamaIndex?

LlamaIndex ayuda a las aplicaciones a cargar, indexar y recuperar datos para flujos de trabajo con LLM. ScrapelessReader utiliza el SDK de Python de Scrapeless para cargar resultados completados como documentos de LlamaIndex.

Elige un servicio

ProductoServicio del ReaderDevuelve
Scraping APIgoogle_search, scrapingResultados de búsqueda orgánica o resultados estructurados de un actor
Crawlscrape, batch_scrape, crawlContenido de una página, una lista de URL o las páginas enlazadas de un sitio
Web Unlockerweb_unlockerContenido devuelto por un actor de Web Unlocker
AI Scraperai_scraperRespuestas completadas recopiladas de plataformas de IA

Pasa el nombre del servicio a ScrapelessReader.load_data(). Para servicios basados en actores, usa params["actor"] para seleccionar un motor o un extractor de sitios, como scraper.chatgpt. Coloca los campos de la solicitud del actor en params["input"]. Consulta los esquemas de entrada en la referencia del SDK de Python.

Inicio rápido

1. Instala el Reader y configura tu clave de API

El paquete requiere Python 3.10 o posterior. Los siguientes comandos usan macOS y Python 3.13. Si necesitas Python, selecciona un instalador de Python 3.13 en la página de descargas de Python para macOS. Si ya tienes otra versión compatible, sustituye python3.13 por el comando de esa versión.

mkdir -p llamaindex-quickstart
cd llamaindex-quickstart
python3.13 -m venv .venv
source .venv/bin/activate
python -m pip install llamaindex-scrapeless==0.1.1

Obtén una clave de API en el panel de Scrapeless. En llamaindex-quickstart, crea un archivo de texto sin formato llamado .env y sustituye el marcador de abajo. El nombre empieza por un punto y no lleva la extensión .txt. Una variable de entorno SCRAPELESS_API_KEY existente tiene prioridad sobre el valor del archivo.

SCRAPELESS_API_KEY=YOUR_SCRAPELESS_API_KEY

2. Carga tu primera página

Guarda el código como quickstart.py junto a .env. Este ejemplo usa el servicio scrape de una sola página del producto Crawl.

from dotenv import load_dotenv
from llamaindex_scrapeless import ScrapelessReader

load_dotenv(".env")
reader = ScrapelessReader(timeout=120, request_timeout=30)
documents = reader.load_data(
    service="scrape",
    params={
        "url": "https://example.com",
        "options": {"formats": ["markdown"], "onlyMainContent": True},
    },
)

print(f"Documents: {len(documents)}")
for document in documents:
    print("Source:", document.metadata.get("url"))
    print("Page status:", document.metadata.get("statusCode", "not provided"))
    print(document.text[:300])

Ejecuta el script en la misma terminal y el mismo directorio.

python quickstart.py

3. Comprueba el resultado

Este fragmento procede de una ejecución con la versión publicada en PyPI.

Documents: 1
Source: https://example.com
Page status: 200
This domain is for use in documentation examples without needing permission.

Comprueba que el documento contiene el texto esperado y que su origen apunta a example.com. Con onlyMainContent, el título Example Domain puede aparecer en document.metadata["title"]. Revisa si el cuerpo contiene páginas de verificación, solicitudes de inicio de sesión o contenido no relacionado. Inspecciona statusCode cuando esté presente. El script imprime not provided si falta ese campo.

El Reader espera a que el resultado esté completado. Una respuesta correcta sin documentos devuelve []. Los resultados fallidos o mal formados generan un error.

Todos los servicios, incluido AI Scraper, devuelven list[Document]. Cada document.text es una cadena y document.metadata es un diccionario. Los registros estructurados pueden aparecer como JSON serializado en document.text.

Otros servicios

Para probar otro servicio, sustituye la llamada documents = reader.load_data(...) en quickstart.py. Conserva las importaciones, la configuración del Reader y el bucle de salida.

Scraping API

documents = reader.load_data(
    "google_search",
    params={"input": {"q": "retrieval augmented generation", "gl": "us", "hl": "en"}},
)

Inspecciona los fragmentos, los títulos y las URL de origen. Para leer las páginas completas, extrae por separado las URL de los resultados. El servicio genérico scraping acepta {"actor": ..., "input": ...} y serializa los registros estructurados como JSON en document.text de forma predeterminada. Esta vía se verificó con el actor de Google Search. Comprueba el esquema de respuesta de cada actor que utilices.

Crawl

documents = reader.load_data(
    "crawl",
    params={
        "url": "https://example.com",
        "options": {
            "limit": 3,
            "maxDepth": 1,
            "scrapeOptions": {"formats": ["markdown"], "onlyMainContent": True},
        },
    },
)

Inspecciona el contenido y el origen de cada página devuelta. limit establece el número máximo de páginas. Para una lista conocida de URL, usa batch_scrape con params={"urls": [...]} y compara los orígenes devueltos con la lista de entrada cuando necesites una cobertura completa.

Web Unlocker

documents = reader.load_data(
    "web_unlocker",
    params={
        "actor": "unlocker.webunlocker",
        "input": {"url": "https://example.com", "method": "GET", "redirect": False},
    },
)

Comprueba el texto extraído y la URL de origen. El formato de respuesta verificado es HTML encapsulado en JSON.

AI Scraper

documents = reader.load_data(
    "ai_scraper",
    params={
        "actor": "scraper.chatgpt",
        "input": {
            "prompt": "Explain retrieval augmented generation and cite sources.",
            "country": "US",
            "web_search": True,
            "shopping": False,
        },
    },
)

Comprueba el texto de la respuesta, el contexto de la solicitud y las citas. Un resultado puede tener una lista de citas vacía. El Reader espera a que la tarea remota termine correctamente y expone el resultado mediante la misma interfaz de documentos.

Reanuda una tarea

timeout es el tiempo disponible para el sondeo del Reader, request_timeout es el tiempo de espera de una solicitud individual del SDK y poll_interval es el intervalo entre comprobaciones de estado. Los tres se expresan en segundos. La tarea remota puede seguir ejecutándose tras agotarse el tiempo de sondeo. ScrapelessTaskTimeout y el ScrapelessTaskError de una solicitud de estado incluyen service y task_id para reanudar la tarea.

Para volver a sondear la misma tarea tras un tiempo de espera agotado, sustituye la llamada load_data() de quickstart.py por el siguiente bloque. Conserva la configuración existente del Reader y el bucle de salida.

from llamaindex_scrapeless import ScrapelessTaskTimeout

params = {
    "url": "https://example.com",
    "options": {"formats": ["markdown"], "onlyMainContent": True},
}
try:
    documents = reader.load_data("scrape", params=params)
except ScrapelessTaskTimeout as error:
    documents = reader.load_data(error.service, task_id=error.task_id, params=params)

Pasa los parámetros originales junto con el ID de tarea guardado. Web Unlocker no admite este flujo de reanudación. Usa load_data para esperar de forma síncrona o aload_data para esperar el resultado en código Python asíncrono. El procesamiento remoto puede continuar si se cancela la espera.

Solución de problemas

SíntomaQué comprobar
Falta la clave de API o falla la autenticaciónComprueba el nombre y la ubicación de .env, el valor de SCRAPELESS_API_KEY disponible para Python y los permisos y créditos de la cuenta.
Falla la importación del móduloActiva el entorno virtual usado para instalar el paquete de PyPI y vuelve a ejecutar el script.
La llamada solo devuelve un ID de tarea o agota el tiempo de esperaConserva el ID y usa el flujo de reanudación del servicio para esperar el resultado.
Lista vacía u orígenes ausentesComprueba el contenido de destino. Si necesitas cobertura completa, compara los orígenes devueltos con las URL de entrada.

Recursos