Scraping BrowserTích hợpBrowser Use

Browser Use

Browser Use là một SDK tự động hóa trình duyệt sử dụng ảnh chụp màn hình để ghi lại trạng thái của trình duyệt và các hành động để mô phỏng tương tác của người dùng. Chương này sẽ giới thiệu cách bạn có thể dễ dàng sử dụng browser-use để thực thi các tác vụ của agent trên Web với các lệnh gọi đơn giản.

Lấy Khóa API của Scrapeless

Xem qua tab Cài đặt của Bảng điều khiển:

Sau đó sao chép và đặt các biến môi trường SCRAPELESS_API_KEY trong tệp .env của bạn.

Các biến môi trường OPENAI_API_KEY trong tệp .env của bạn cũng được yêu cầu.

OPENAI_API_KEY=your-openai-api-key
SCRAPELESS_API_KEY=your-scrapeless-api-key

💡Hãy nhớ thay thế khóa API mẫu bằng khóa API thực tế của bạn.

Cài đặt Browser Use

Với pip (Python>=3.11):

pip install browser-use

Đối với chức năng bộ nhớ (yêu cầu Python<3.13 do khả năng tương thích với PyTorch):

pip install "browser-use[memory]"

Thiết lập Cấu hình Trình duyệt và Agent

Đây là cách cấu hình trình duyệt và tạo một agent tự động hóa:

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr
 
task = "Go to Google, search for 'Scrapeless', click on the first post and return to the title"
 
async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": os.environ.get("SCRAPELESS_API_KEY"),
        "session_ttl": 180,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser
 
async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # Or choose the model you want to use
        api_key=SecretStr(os.environ.get("OPENAI_API_KEY")),
    )
 
    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )

Tạo Hàm Chính

Đây là hàm chính kết hợp mọi thứ lại với nhau:

async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()
 
asyncio.run(main())

Chạy script của bạn

Chạy script của bạn:

python run main.py

Bạn sẽ thấy phiên Scrapeless của bạn bắt đầu trong Bảng điều khiển Scrapeless.

Code đầy đủ

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr
 
task = "Go to Google, search for 'Scrapeless', click on the first post and return to the title"
 
async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": os.environ.get("SCRAPELESS_API_KEY"),
        "session_ttl": 180,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser
 
async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # Or choose the model you want to use
        api_key=SecretStr(os.environ.get("OPENAI_API_KEY")),
    )
 
    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )
 
async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()
 
asyncio.run(main())

💡Browser Use hiện chỉ hỗ trợ Python.

💡Bạn có thể sao chép URL trong phiên trực tiếp để theo dõi tiến trình của phiên trong thời gian thực, và bạn cũng có thể xem lại phiên trong lịch sử phiên.