コスト消費
本ドキュメントの目的は、構造やアンチクロール対策が異なるページをテストすることです。カバーするシナリオには、eコマース、ソーシャルメディア、旅行、テックニュース、学術情報が含まれます。各シナリオで10回のテストを行い、最終分析には平均データを使用しています。
利用ケース
| ウェブサイト | シナリオ | プロキシコスト／1,000リクエスト | Crawl 課金／1,000リクエスト | Crawl 課金／1,000リクエスト（30％割引） |
|---|---|---|---|---|
| eコマース | costco.com | $5.43 | $6.10 | $4.27 |
| target.com | $5.93 | $6.61 | $4.62 | |
| 学術 | sciencedirect.com | $3.45 | $3.88 | $2.71 |
| pubmed.ncbi.nlm.nih.gov | $2.19 | $2.87 | $2.00 | |
| ソーシャルメディア | threads.com | $3.73 | $3.93 | $2.75 |
| warriorforum.com | $9.33 | $9.93 | $6.95 | |
| uadforum.com/community/index.php | $2.27 | $2.52 | $1.76 | |
| 旅行 | airbnb.com | $6.10 | $6.41 | $4.48 |
| tripadvisor.com | $6.65 | $6.97 | $4.87 | |
| テック／ニュース | appleinsider.com | $5.42 | $6.44 | $4.50 |
| geekflare.com | $2.08 | $2.45 | $1.71 |
Tips
- 市場データによると、 80〜85% のWebページが 4.5MB未満 （60%が2.5MB未満）です。大容量のページは主にeコマースおよびストリーミングメディアサイトに見られます。一方、CDNアクセラレーションやコードの最適化を活用するニュースや教育系ページは、一般的にサイズが小さい傾向にあります。
- Scrapelessは、ステルスモード向けにさらに柔軟で個別課金可能なプランを導入し、全体的なコストをさらに最適化します。
- 高トラフィックのページでは、Scrapelessの30％割引が大きなコストメリットをもたらします。
結論
Crawlは小規模なページ処理において優れたパフォーマンスを発揮しますが、“プロキシトラフィック＋時間課金”というハイブリッド課金モデル（単純なリクエスト課金ではなく）のため、高トラフィックのシナリオではコストが高くなる可能性があります。料金は 1.8ドル/GB＋0.09ドル/時間からです。
主な利点には、 無料のCAPTCHAソリューション、 高並列処理のサポート、および 柔軟なカスタマイズ機能が含まれ、複雑なスクレイピング対策を効率的に処理でき、企業レベルの大規模データ収集ニーズに対応できます。
👉詳細については、 Scrapeless SDK を確認してください。
製品マトリクスのサポート：
▸ JavaScript処理が多いページ：推奨するのは Web Unlocker API です（1,000URLsあたり$0.20から）
▸ ブラウザ自動化が必要な場合： ブラウザサービス （Puppeteer/Playwrightなどのフレームワークをサポート）を推奨