Proxies
简介
代理系统是 Agent Browser 的一个组件,用于通过代理服务器转发连接。它主要用于防止 IP 被封锁、访问受地域限制的内容以及增强匿名性。Agent Browser 提供了一套可配置的代理系统,可对自动化流量的路由进行精确控制,包括匿名性、地理定位以及提升可靠性,让你能够轻松地将代理集成到工作流程中。
核心能力
代理系统的核心能力在于通过中间服务器隐藏真实 IP 地址,并自动或按需在 IP 池中轮换不同的地址。它还允许选择特定地理位置的代理服务器,模拟来自世界各地的用户访问。
应用场景
主要适用于需要大规模数据抓取以及绕过目标网站 IP 限制或封锁的场景。它也是在市场调研等任务中访问受地域限制内容和保持在线匿名性的关键工具。
分类
使用 Scrapeless,你有两种代理配置选项:
- 使用内置代理:轻松通过我们托管的住宅代理路由流量。
- 使用自定义代理:使用自定义的 HTTP/HTTPS/SOCKS5 代理,对网络路由进行更灵活的控制。
操作指南
使用内置代理
使用 Agent Browser 的内置代理,可通过其托管的住宅代理路由流量。
const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer = require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
const { browserWSEndpoint } = client.browser.create({
sessionName: 'sdk_test',
sessionTTL: 180,
proxyCountry: 'AU',
proxyState: 'NSW', // Optional: state code
proxyCity: 'sydney', // Optional: city name
sessionRecording: true,
});
(async () => {
const browser = await puppeteer.connect({ browserWSEndpoint });
const page = await browser.newPage();
await page.goto('https://www.scrapeless.com');
console.log(await page.title());
await browser.close();
})();地理代理选择
我们的内置代理网络覆盖全球 195 个国家和地区,可为你的抓取操作提供精确的地理定位。每个代理位置都针对性能和可靠性进行了优化,让你能够模拟来自特定区域的真实用户访问。
如需全面的国家和地区选择,包括州/省和城市级别的定位,请参阅我们的详细代理文档。
自定义代理
如果你想使用自己的代理服务/提供商,可以在创建会话时指定以下参数。如果你使用自己的代理提供商,则不会向你收取代理使用费用。
注意: 使用 SDK 生成代理时,你无需显式指定用户名和密码。你只需关注生成的代理连接 URL。
提示: 如果你已经拥有代理,只需在需要的地方将完整的代理 URL 作为参数传入即可。
- 💡自定义代理功能目前仅面向订阅用户开放。点此升级
const { ScrapelessClient } = require('@scrapeless-ai/sdk');
const puppeteer =require('puppeteer-core');
const client = new ScrapelessClient({ apiKey: 'API Key' });
const proxyUrl = client.proxies.proxy({
country: 'US',
sessionDuration: 30, // session duration
sessionId: 'test-session-123', // custom proxy sessionId
gateway: 'gw-us.scrapeless.io:8789' // allowed value: `gw-us.scrapeless.io:8789`, `gw-eu.scrapeless.io:8789`, `gw-ap.scrapeless.io:8789`
});
console.log(proxyUrl)我们云浏览器的内置代理仅支持住宅类型,更适合大规模数据提取操作。我们还单独提供多种代理类型,包括 Residential proxies、Datacenter proxies、Static ISP Proxies 以及 IPv6 Proxies,并支持更精细的配置。你也可以单独购买我们的代理并注入到云浏览器中,以匹配更多样化的使用场景。例如,如果你需要在多个会话之间保持一致且专用的 IP 地址,可以购买我们的 Static ISP Proxies。 指南