クイックスタート：最初のScrapelessリクエストを作成
cURL を使用してScrapelessリクエストを実行し、 Web Unlockerでページを取得することで、最初のリクエストを行います。この例では結果を同じHTTPレスポンスで返すため、SDKのインストールやタスクのポーリングを行わずに始めることができます。
はじめに
ローカル端末でcURLが利用できる状態で、Web Unlockerへのアクセス権を持つScrapelessアカウントと、リクエストに十分な残高が必要です。以下のコマンドはmacOSまたはLinux上のBashまたはZshを使用しています。
ブラウザ自動化、AIによる回答、検索結果をお探しですか？直接 適切な製品を選ぶに進むことができます。
1. あなたのAPIキーを取得
まず Scrapelessダッシュボード にログインし、APIキーの設定を開いてキーをコピーします。保管方法とセキュリティについては、APIキーの取得と保護 を参照してください。
端末で以下のコマンドを実行してください。非表示のプロンプトにキーを貼り付け、Enterを押してください：
printf 'Scrapeless API key: '
read -rs SCRAPELESS_API_KEY
printf '\n'
export SCRAPELESS_API_KEYこの変数は、この端末から起動したコマンドで利用可能です。新しい端末セッションではこの手順を繰り返してください。
2. リクエストを送信
コピーして実行してください：
curl --silent --show-error \
--request POST 'https://api.scrapeless.com/api/v2/unlocker/request' \
--header "x-api-token: ${SCRAPELESS_API_KEY:?Set SCRAPELESS_API_KEY first}" \
--header 'Content-Type: application/json' \
--data '{
"actor": "unlocker.webunlocker",
"input": {
"url": "https://example.com/",
"method": "GET",
"redirect": false
},
"proxy": {
"country": "ANY"
}
}' \
--output scrapeless-response.json \
--write-out 'HTTP status: %{http_code}\n'レスポンス本文が scrapeless-response.json に保存され、HTTPステータスが表示されます。このコマンドはAPIのリダイレクトを追跡せず、リクエストの自動再試行も行いません。
| フィールド | 何を行うか |
|---|---|
x-api-token | あなたのScrapeless APIキーでリクエストを認証します。 |
actor | API識別子 unlocker.webunlocker を使用してWeb Unlockerを選択します。 |
input.url | 取得するページを設定します。 |
input.method | 対象ページに使用するメソッドを設定します。Scrapeless自体へのリクエストには POST を使用します。 |
input.redirect | ターゲットページからのリダイレクトを追うかどうかを制御します。 |
proxy.country | プロキシの国を指定する必要がない場合は ANY を使用します。 |
エンドポイントの仕様については、Web Unlocker APIリファレンス を参照してください。
3. 結果を確認
cat scrapeless-response.json成功時のレスポンスはJSON形式で、code と data を含みます。以下は説明用に省略した例であり、実際に記録したレスポンスではありません：
{
"code": 200,
"data": "<!doctype html><html>...Example Domain...</html>"
}この例では、HTTPステータスが 200、レスポンスの code が 200 であることと、data にリクエストしたページのコンテンツが含まれることを確認してください。ファイルが保存されたことだけでは、リクエストの成功を確認できません。
返されたコンテンツ内でExample Domainページを特定できれば、最初のリクエストは完了です。
4. 自分のURLを使用
パラメータ input.url を取得したいページに置き換えて、もう一度リクエストを送信します。対象がリダイレクトする場合は、input.redirect を必要に応じて true に設定します。
上記の例では、JavaScriptレンダリングは有効になっていません。スクリプトで読み込まれるコンテンツについては、JavaScriptレンダリングのガイド に従ってください。管理型のウェブサイトクロールや対話型のブラウザセッションを使用する場合は、対応する製品のガイドを参照してください。
リクエストが失敗した場合
| 症状 | 確認事項 |
|---|---|
シェルが SCRAPELESS_API_KEY | 同じ端末で手順1を実行してください。 |
| 認証エラー | キーが有効で、省略されていないことを確認します。キーの値を x-api-token にそのまま指定し、Bearer プレフィックスは付けないでください。 |
| アクセスまたは残高エラー | ダッシュボードでWeb Unlockerへのアクセスと利用可能残高を確認してください。 |
| 無効なリクエストエラー | JSONおよびactor識別子を例と比較してください。拒否されたフィールドについてはレスポンス本文を読んでください。 |
| 成功したレスポンスに期待されるコンテンツが欠けている | ターゲットのURL、リダイレクト、およびJavaScriptレンダリングの必要性を確認してください。 |
| ネットワークエラーまたはタイムアウト | 再試行前に接続状況とターゲットのURLを確認してください。変更せずに何度も同じ失敗したリクエストを再送信しないでください。 |
サポートを依頼する際は、エンドポイント、時刻、HTTPステータス、および一部をマスクしたエラーレスポンスを共有してください。あなたのAPIキーおよび機微なターゲットデータは削除してください。
次のステップ
ワークフローに合った製品とインターフェースを選んでください：
- 実際のワークフローに合わせて、適切な製品を選択 します。
- デプロイしたアプリケーションを接続する前に、APIキーを保護 してください。
- 次に、Web Unlockerのガイド に進んでください。
- 特定のソースのデータを取得する場合は、Google Search API、Amazon Scraper、または TikTok Scraper を使用してください。
- ターミナルで作業したい場合は、近日公開予定の Scrapeless CLI をご利用ください。ガイドでは、インストール、設定、コマンドを説明する予定です。
- SDKを使用する場合は、 Node.jsから始めてください。 Python および Go SDKsは近日リリース予定です。
実験を終了したら、このターミナル環境からキーを削除してください：
unset SCRAPELESS_API_KEYこれによりローカル変数がクリアされますが、キーの無効化は行われません。