Hiển thị JS

Universal Scraping API là một dịch vụ truy xuất nội dung web mạnh mẽ hỗ trợ các kịch bản render và tương tác trang web phức tạp.

Cấu trúc Yêu cầu Cơ bản

{
  "actor": "unlocker.webunlocker",
  "input": {
    "url": "https://example.com",
    "js_render": false,
    "headless": false
  },
  "proxy": {
    "country": "US"
  }
}

Các Tính năng Chính

Hiển thị JavaScript

Hiển thị JavaScript cho phép xử lý nội dung được tải động và SPA (Ứng dụng Trang Đơn). Cho phép môi trường trình duyệt hoàn chỉnh, hỗ trợ các tương tác trang và yêu cầu hiển thị phức tạp hơn.

js_render=true, chúng ta sẽ sử dụng trình duyệt để yêu cầu.

{
  "actor": "unlocker.webunlocker",
  "input": {
    "url": "https://www.google.com/",
    "js_render": true
  },
  "proxy": {
    "country": "US"
  }
}

Hướng dẫn JavaScript

Cung cấp một tập hợp các hướng dẫn JavaScript mở rộng cho phép bạn tương tác động với các trang web.

Các hướng dẫn này cho phép bạn nhấp vào các phần tử, điền vào biểu mẫu, gửi biểu mẫu hoặc chờ các phần tử cụ thể xuất hiện, mang lại sự linh hoạt cho các tác vụ như nhấp vào nút “đọc thêm” hoặc gửi biểu mẫu.

{
  "actor": "unlocker.webunlocker",
  "input": {
    "url": "https://example.com",
    "js_render": true,
    "js_instructions": [
      {
        "wait_for": [
          ".dynamic-content",
          30000
        ]
        // Wait for element
      },
      {
        "click": [
          "#load-more",
          1000
        ]
        // Click element
      },
      {
        "fill": [
          "#search-input",
          "search term"
        ]
        // Fill form
      },
      {
        "keyboard": [
          "press",
          "Enter"
        ]
        // Simulate key press
      },
      {
        "evaluate": "window.scrollTo(0, document.body.scrollHeight)"
        // Execute custom JS
      }
    ]
  }
}

Dưới đây là một số hành động phổ biến bạn có thể thực hiện với Hướng dẫn JavaScript:

Tài liệu tham khảo Hướng dẫn JavaScript

Thao tác Bàn phím

Các loại KeyInput đặc biệt được hỗ trợ: https://pptr.dev/api/puppeteer.keyinput

Điều khiển Tài nguyên

Hệ thống điều khiển tải tài nguyên để tối ưu hóa hiệu suất và sử dụng băng thông.

{
  "actor": "unlocker.webunlocker",
  "input": {
    "url": "https://example.com",
    "js_render": true,
    "block": {
      "resources": [
        "Image",
        "Font",
        "Stylesheet",
        "Script"
      ],
      "urls": [
        // Optional, URL pattern-based blocking
        "*.analytics.com/*",
        "*/ads/*"
      ]
    }
  }
}

Tài liệu tham khảo Loại Tài nguyên Hoàn chỉnh:

Ví dụ sử dụng:

{
  "actor": "unlocker.webunlocker",
  "input": {
    "url": "https://example.com",
    "js_render": true,
    "block": {
      "resources": [
        "Image",
        "Font",
        "Stylesheet",
        "Script",
        "Media",
        "Ping",
        "Prefetch"
      ]
    }
  }
}

Thực tiễn tốt nhất cho việc chặn Tài nguyên:

1. Tối ưu hóa hiệu suất

   • Chỉ bật js_render khi cần thiết
   • Sử dụng việc chặn tài nguyên một cách khôn ngoan, Chặn các tài nguyên không cần thiết để tải nhanh hơn
   • Cân nhắc việc chặn Prefetch và Ping để giảm sử dụng mạng
   • Giữ Document và các tài nguyên Script quan trọng không bị chặn

2. Quản lý băng thông

   • Chặn Image và Media đối với các trang sử dụng nhiều băng thông
   • Cân nhắc việc chặn Font để sử dụng phông chữ hệ thống thay thế

3. Nâng cao độ ổn định

   • Thực hiện các cơ chế thử lại yêu cầu
   • Thêm logic xử lý lỗi
   • Sử dụng wait_for thay vì wait cố định

4. Hiệu quả tài nguyên

   • Tải tài nguyên theo yêu cầu
   • Đóng các kết nối không cần thiết ngay lập tức

Lưu ý: Chuỗi loại tài nguyên phân biệt chữ hoa chữ thường. Sử dụng khớp chính xác như trong bảng tham chiếu.