Crawl

Thu thập trang đơn, tác vụ hàng loạt, thu thập dữ liệu website và kết quả.

Tôi nên thu thập một trang, gửi một lô, hay thu thập dữ liệu cả website?

Sử dụng yêu cầu trang đơn cho một URL đã biết, một lô cho danh sách URL đã biết, hoặc thu thập dữ liệu website để khám phá các trang được liên kết. Xem Hướng dẫn Crawl.

Tại sao tôi nhận được mã định danh tác vụ thay vì nội dung trang?

Các tác vụ crawl là bất đồng bộ. Hãy giữ lại mã định danh được trả về và truy xuất trạng thái cùng kết quả cho tác vụ đó. Các trình trợ giúp SDK được hỗ trợ có thể quản lý luồng này cho bạn.

Tại sao một tác vụ đã hoàn thành lại chứa các trang bị lỗi?

Hãy kiểm tra kết quả của từng trang riêng lẻ cũng như toàn bộ tác vụ. Một tác vụ có thể kết thúc với các trang không thành công. Sử dụng trạng thái và lỗi của mỗi trang để quyết định điều gì cần được điều tra hoặc thử lại có mục tiêu.

Tại sao một số trang được liên kết bị bỏ qua?

Hãy kiểm tra giới hạn crawl và phạm vi URL. Theo mặc định, các liên kết nằm ngoài hệ thống phân cấp của URL khởi đầu sẽ bị loại trừ; allowBackwardLinks thay đổi hành vi đó. Một trang bị thiếu cũng có thể không thể truy cập được hoặc bị lỗi trong quá trình thu thập.

Tôi nên sử dụng định dạng đầu ra nào?

Chọn Markdown để xử lý văn bản, HTML khi trình phân tích của bạn cần markup, hoặc links để khám phá URL. Hãy đặt các định dạng đầu ra mà bước xử lý tiếp theo của bạn cần.

Tôi có nên gửi lại tác vụ nếu client của tôi bị hết thời gian chờ không?

Trước tiên hãy kiểm tra trạng thái của tác vụ hiện có nếu bạn đã nhận được mã định danh của nó. Việc client hết thời gian chờ không đủ để chứng minh rằng công việc phía máy chủ đã dừng lại. Hãy đặt một chính sách thăm dò có giới hạn thay vì liên tục tạo các tác vụ mới.

Tôi nên gửi những gì khi báo cáo kết quả không đầy đủ?

Bao gồm mã định danh tác vụ, các URL khởi đầu, tùy chọn thu thập, số lượng trang dự kiến, và một vài ví dụ về các trang bị thiếu hoặc bị lỗi. Hãy chia sẻ trường hợp nhỏ nhất thể hiện được vấn đề thông qua Liên hệ Hỗ trợ.

Chọn một danh mục khác từ điều hướng FAQ, hoặc liên hệ hỗ trợ.