Crawl

Recopilación de página única, trabajos por lotes, rastreo de sitios web y resultados.

¿Debería extraer una página, enviar un lote o rastrear un sitio web?

Use una solicitud de página única para una URL conocida, un lote para una lista de URLs conocidas, o un rastreo de sitio web para descubrir páginas vinculadas. Consulte la guía de rastreo.

¿Por qué obtengo un identificador de trabajo en lugar del contenido de la página?

Los trabajos de rastreo son asíncronos. Guarde el identificador devuelto y recupere el estado y los resultados de ese trabajo. Los ayudantes del SDK compatible pueden gestionar este flujo por usted.

¿Por qué un trabajo completado contiene páginas fallidas?

Revise los resultados individuales de cada página además del trabajo general. Un trabajo puede finalizar con páginas no exitosas. Use el estado y el error de cada página para decidir qué necesita investigación o un reintento específico.

¿Por qué se omitieron algunas páginas vinculadas?

Verifique el límite de rastreo y el alcance de las URL. De forma predeterminada, se excluyen los enlaces fuera de la jerarquía de la URL inicial; allowBackwardLinks cambia ese comportamiento. Una página que falta también puede ser inaccesible o fallar durante la recopilación.

¿Qué formato de salida debo usar?

Elija Markdown para procesamiento de texto, HTML cuando su analizador necesite marcado, o enlaces para el descubrimiento de URL. Establezca los formatos de salida que necesite su siguiente paso de procesamiento.

¿Debo volver a enviar el trabajo si mi cliente agota el tiempo de espera?

Primero verifique el estado del trabajo existente si recibió su identificador. Un tiempo de espera del cliente por sí solo no demuestra que la tarea del lado del servidor haya finalizado. Establezca una política de sondeo acotada en lugar de crear repetidamente trabajos nuevos.

¿Qué debo enviar al informar resultados incompletos?

Incluya el identificador del trabajo, las URL iniciales, las opciones de recopilación, el número esperado de páginas y algunos ejemplos de páginas faltantes o fallidas. Comparta el caso más pequeño que demuestre el problema a través de Contactar con soporte.

Elija otra categoría en la navegación de preguntas frecuentes o comuníquese con el soporte técnico.