はじめに

Crawlは、大規模なデータスクレイピングと処理に特化して設計された最先端の機能です。その主な強みは、 インテリジェントな再帰的クローリング、 強力なバルクデータ処理能力、および 柔軟なマルチフォーマット出力にあります。これらの機能により、企業や開発者は大量のWebデータを効率的に取得・処理でき、AIトレーニング、市場分析、ビジネス意思決定など幅広い用途に活用できます。

主な特徴と利点

1. 大規模クローリング機能： 単一ページの大規模クローリングおよびインテリジェントな再帰的クローリングをサポート。
2. 柔軟な複数形式での出力： データをJSON、Markdown、メタデータ、HTML、リンク、スクリーンショットなどの形式で出力でき、さまざまなワークフローやシステムに対応します。
3. 高度なアンチディテクション戦略： 独自開発のChromiumカーネルを搭載し、フィンガープリント設定、CAPTCHAの解決、ステルスモード、プロキシローテーション（内蔵195か国対応） などの強力なアンチディテクションツールで、サイトのブロックを回避します。
4. 自社開発Chromiumベースのパフォーマンス
   1. 自動CAPTCHA Solver：reCAPTCHA v2や reCAPTCHA v3、 および無料の Turnstile/Challengeの解決など、複雑なCAPTCHAを自動で処理します。Cloudflare
   2. 並列処理の優位性： 他社が厳格な同時実行制限に縛られる中、Crawlは基本プランでも標準で50の同時セッションを提供。プレミアムプランでは無制限の同時実行が可能となり、超高速かつ大規模なデータ取得が実現します。
   3. コスト効率： クローリング対策を施したサイトでも他のツールより高い性能を発揮し、 無料のCAPTCHA解決機能を提供します。他のソリューションと比べて 70%のコスト削減 が期待できます。

課金情報：

課金はプロキシ使用量と時間単位の料金を組み合わせたハイブリッド課金モデルに基づいており、1GBあたり1.8米ドル、1時間あたり0.09米ドルから開始します。これはBrowserと同じ料金体系です。

詳細については「コスト消費の確認」をご覧ください。