费用消耗
本文档旨在测试具有不同结构和反爬措施的页面。所涵盖的场景包括电商、社交媒体、旅游、科技新闻和学术。每个场景均进行了十组测试,并取平均数据用于最终分析。
使用案例
| 网站 | 场景 | 代理费用/1k 次请求 | Crawl 计费/1k 次请求 | Crawl 计费/1k 次请求(7 折) |
|---|---|---|---|---|
| 电商 | costco.com | $5.43 | $6.10 | $4.27 |
| target.com | $5.93 | $6.61 | $4.62 | |
| 学术 | sciencedirect.com | $3.45 | $3.88 | $2.71 |
| pubmed.ncbi.nlm.nih.gov | $2.19 | $2.87 | $2.00 | |
| 社交媒体 | threads.com | $3.73 | $3.93 | $2.75 |
| warriorforum.com | $9.33 | $9.93 | $6.95 | |
| uadforum.com/community/index.php | $2.27 | $2.52 | $1.76 | |
| 旅游 | airbnb.com | $6.10 | $6.41 | $4.48 |
| tripadvisor.com | $6.65 | $6.97 | $4.87 | |
| 科技/新闻 | appleinsider.com | $5.42 | $6.44 | $4.50 |
| geekflare.com | $2.08 | $2.45 | $1.71 |
Tips
- 市场数据显示,80-85% 的网页小于 4.5MB(60% 小于 2.5MB)。高容量页面主要出现在电商和流媒体网站上。相比之下,采用 CDN 加速和代码精简的新闻及教育类页面往往更小。
- Scrapeless 将为隐身模式推出更灵活的独立计费方案,以进一步优化整体成本。
- 对于高流量页面,Scrapeless 的 7 折优惠可带来显著的成本优势。
结论
Crawl 在小规模页面处理方面表现出色,但在高流量场景下由于其混合计费模式而产生较高成本。该模式结合了”代理流量 + 小时费率”,而非简单的按请求计费,起价为 $1.8/GB + $0.09/小时。
其核心优势包括免费的 CAPTCHA 解决方案、高并发支持以及灵活的定制能力,能够高效应对复杂的反爬措施,满足企业级大规模数据采集需求。
👉查看 Scrapeless SDK 以获取更多详情。
产品矩阵支持:
▸ JS 密集型页面:推荐使用 Web Unlocker API(起价 $0.20/1k URLs)
▸ 浏览器自动化需求:推荐使用 Browser service(支持 Puppeteer/Playwright 等框架)