はじめに

Crawlは、大規模なデータスクレイピングと処理のために特別に設計された最先端の機能です。インテリジェントな再帰的スクレイピング、堅牢なバルクデータ処理能力、柔軟なマルチフォーマット出力というコアな強みによって際立っています。これらの機能により、企業や開発者は膨大な量のウェブデータを効率的に取得および処理し、AIトレーニング、市場分析、ビジネス意思決定など、さまざまなアプリケーションを推進できます。

主要機能と利点

1. 大規模クロール機能: 大規模なシングルページクロールとインテリジェントな再帰的クロールをサポートします。
2. 柔軟なマルチフォーマット配信: JSON、Markdown、メタデータ、HTML、リンク、スクリーンショットなど、複数のフォーマットでデータを出力し、さまざまなワークフローやシステムとの互換性を確保します。
3. 高度な検知回避戦略: 独自開発のChromiumカーネルを搭載し、フィンガープリント設定、CAPTCHA解決、ステルスモード、プロキシローテーション**(195カ国対応)**など、堅牢な検知回避ツールを提供し、ウェブサイトのブロックを回避します。
4. 独自開発のChromium駆動のパフォーマンス
   1. 自動CAPTCHAソルバー: reCAPTCHA v2やCloudflare Turnstile/Challengeなど、複雑なCAPTCHAを自動的に処理します。
   2. 並行処理の利点: 厳格な並行処理制限に制約される競合他社とは異なり、Crawlの基本プランでは標準で50の同時セッションを提供します。プレミアムプランでは、超高速かつ大量のデータ取得のために無制限の同時セッションを利用できます。
   3. 費用対効果: クロール防止ウェブサイトにおいて他のツールを凌駕し、無料のCAPTCHA解決を提供することで、代替ソリューションと比較して70％のコスト削減が見込まれます。

課金情報：

料金は、プロキシボリュームと時間単位の料金を組み合わせたハイブリッド価格モデルに基づいており、Browserと同じく、1GBあたり1.8ドル、1時間あたり0.09ドルから始まります。