费用消耗

本文档旨在测试具有不同结构和反爬措施的页面。所涵盖的场景包括电商、社交媒体、旅游、科技新闻和学术。每个场景均进行了十组测试,并取平均数据用于最终分析。

使用案例

网站场景代理费用/1k 次请求Crawl 计费/1k 次请求Crawl 计费/1k 次请求(7 折)
电商costco.com$5.43$6.10$4.27
target.com$5.93$6.61$4.62
学术sciencedirect.com$3.45$3.88$2.71
pubmed.ncbi.nlm.nih.gov$2.19$2.87$2.00
社交媒体threads.com$3.73$3.93$2.75
warriorforum.com$9.33$9.93$6.95
uadforum.com/community/index.php$2.27$2.52$1.76
旅游airbnb.com$6.10$6.41$4.48
tripadvisor.com$6.65$6.97$4.87
科技/新闻appleinsider.com$5.42$6.44$4.50
geekflare.com$2.08$2.45$1.71
Tips
  • 市场数据显示,80-85% 的网页小于 4.5MB(60% 小于 2.5MB)。高容量页面主要出现在电商和流媒体网站上。相比之下,采用 CDN 加速和代码精简的新闻及教育类页面往往更小。
  • Scrapeless 将为隐身模式推出更灵活的独立计费方案,以进一步优化整体成本。
  • 对于高流量页面,Scrapeless 的 7 折优惠可带来显著的成本优势。

结论

Crawl 在小规模页面处理方面表现出色,但在高流量场景下由于其混合计费模式而产生较高成本。该模式结合了”代理流量 + 小时费率”,而非简单的按请求计费,起价为 $1.8/GB + $0.09/小时。

其核心优势包括免费的 CAPTCHA 解决方案、高并发支持以及灵活的定制能力,能够高效应对复杂的反爬措施,满足企业级大规模数据采集需求。

👉查看 Scrapeless SDK 以获取更多详情。

产品矩阵支持:

▸ JS 密集型页面:推荐使用 Web Unlocker API(起价 $0.20/1k URLs)

▸ 浏览器自动化需求:推荐使用 Browser service(支持 Puppeteer/Playwright 等框架)