Scrapeless Skills

Scrapeless Skills を使うと、AI コーディングアシスタントが自然言語の指示で Scrapeless を利用できるようになります。Web ページの抽出、Web サイト全体からのコンテンツ収集、AI プラットフォームへの問い合わせ、クラウドブラウザの操作、プロキシ URL の生成、そして Google 検索・Amazon・TikTok の構造化データの取得が可能です。

各 skill には、タスクの手順と、そのタスクの実行に必要なリファレンスやスクリプトが含まれています。アシスタントは Agent Skills に対応し、ローカルコマンドを実行できる必要があります。

Skills リポジトリを見る

利用可能な skills

Skill用途
web-unlockerJavaScript でレンダリングされるページを含め、単一の Web ページを HTML、Markdown、テキスト、その他のサポートされる形式で抽出します。
crawlページ数の上限、深さの制御、パスフィルター、出力形式を指定して複数のページを収集します。
ai-scraperChatGPT、Gemini、Copilot、Perplexity、Grok、Alexa、Google AI Mode、Google AI Overview から回答と利用可能な引用元を収集します。
agent-browserクラウドブラウザセッションでページの移動、要素のクリック、フォームの入力、ページスナップショットの確認、スクリーンショットの取得を行います。
proxyロケーションとセッションの設定を指定して、認証付きのレジデンシャル、IPv6、またはデータセンタープロキシの URL を生成します。
scraping-apiGoogle 検索、Amazon、TikTok の構造化データを取得します。

1 ページの抽出には Web Unlocker、複数ページの収集には Crawl、継続的な操作が必要なワークフローには Agent Browser を使用します。AI が生成した回答には AI Scraper、標準的な Google 検索結果やサポートされている Amazon・TikTok のデータセットには Scraping API を使用します。

クイックスタート

1. 環境を準備する

必要なもの:

  • 以下のインストール手順を実行するための Node.js 22.20 以降と npm。
  • Agent Skills とローカルコマンドの実行に対応した AI コーディングアシスタント。
  • Scrapeless アカウントと、ダッシュボードから取得した API キー。
  • 選択した skills が使用するサービスへのネットワークアクセス。Agent Browser は初回使用時に npm と GitHub Releases から依存関係もダウンロードします。

Node.js を確認し、Scrapeless CLI をインストールします:

node --version
npm install -g scrapeless
scrapeless --version

5 つの skills が CLI を使用します。scraping-api skill は同梱の Node.js スクリプトを使用するため、CLI のグローバルインストールは不要です。

2. skills をインストールする

プロジェクトディレクトリで次を実行します:

npx skills add scrapeless-ai/scrapeless-skills

プロンプトに従って、インストールする skills と対象のアシスタントを選択します。

1 つの skill だけをインストールする場合:

npx skills add scrapeless-ai/scrapeless-skills --skill web-unlocker

すべてのプロジェクトで使用できるようにグローバルにインストールする場合:

npx skills add scrapeless-ai/scrapeless-skills -g

対応するアシスタントとインストールオプションについては、Skills インストーラーのドキュメントを参照してください。

3. API キーを設定する

Scrapeless ダッシュボードから API キーをコピーします。YOUR_API_TOKEN を自分のキーに置き換えて、ローカルで次のコマンドを実行します:

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

デフォルトの設定ファイルは ~/.scrapeless/config.json です。CLI、同梱の Scraping API スクリプト、クラウドブラウザはこの共有設定を使用できます。

環境変数で設定する場合は、Bash または Zsh で次を使用します:

export SCRAPELESS_API_KEY='YOUR_API_TOKEN'

変数を引き継ぐため、そのシェルからアシスタントを起動してください。デスクトップアプリケーションなど別の方法で起動したアシスタントでは、個別に環境を設定するか、保存された設定ファイルにアクセスできるようにする必要があります。

scraping-api のみをインストールした場合は、CLI をインストールせずに環境変数を使用できます。上記の config コマンドと auth コマンドには CLI が必要です。

キーをチャットのプロンプト、共有ファイル、ログに含めないでください。資格情報の取り扱いについては、APIキーの取得と保護を参照してください。

4. 最初のタスクを実行する

アシスタントに次のように依頼します:

web-unlocker skill を使って https://example.com を Markdown として抽出し、
内容を page.md に保存してください。

アシスタントが $skill-name による明示的な呼び出しに対応している場合は、次のようにも書けます:

$web-unlocker を使って https://example.com を Markdown として抽出し、
内容を page.md に保存してください。

アシスタントが報告した結果と生成されたファイルを確認してください。インストールが成功しただけでは、データリクエストが完了したことにはなりません。

タスクの例

対象の URL またはプラットフォーム、範囲、必要な出力を指定します。例の URL や検索語は自分の入力に置き換えてください。

Web ページを抽出する

web-unlocker skill を使って https://example.com を Markdown として抽出してください。
抽出した内容を page.md に保存してください。

Web Unlocker は、インタラクティブなブラウザセッションを維持せずに単一ページを抽出できます。JavaScript のレンダリングはデフォルトで有効です。

Web サイトをクロールする

crawl skill を使って https://example.com から最大 10 ページを収集してください。
外部リンクは無効のままにし、メインコンテンツのみを Markdown として抽出して、
クロール結果を crawl.json に保存してください。

ページのコンテンツは Markdown にしつつ、クロール結果全体は JSON のままにできます。収集範囲を絞り込む場合は、ページ数の上限とパスフィルターを指定してください。

AI の回答を収集する

ai-scraper skill を使って ChatGPT に次の質問をしてください:
「Web スクレイピングの主な用途は何ですか?」
回答全体を JSON として保存し、返された引用元をすべて保持してください。

利用できるフィールドとオプションはプラットフォームによって異なります。完全な JSON 出力では構造化フィールドが保持され、CLI のデフォルト出力では Markdown が抽出されます。引用元は、サービスから返された場合にのみ含まれます。

ブラウザを自動化する

agent-browser skill を使ってクラウドブラウザセッションを作成し、
https://example.com を開いてページを確認し、スクリーンショットを
page.png に保存してください。完了したらセッションを閉じてください。

インタラクティブなタスクでは、アシスタントは現在のページスナップショットにある要素参照を使用し、ワークフロー全体を通じて同じセッション ID を維持します。

プロキシ URL を生成する

proxy skill を使って、アジア太平洋ゲートウェイ経由の米国レジデンシャル
プロキシ URL を生成してください。proxy.txt という名前のローカルの
非公開ファイルに保存し、要約ではパスワードをマスクしてください。

プロキシ URL の生成はローカルで行われます。接続性のテスト、API キーの検証、利用可能な残高の確認は行いません。生成された URL には資格情報が含まれます。

構造化データを取得する

scraping-api skill を使って、hl=en と gl=us で Google を
"coffee" で検索してください。完全な JSON レスポンスを google-results.json に保存してください。

同じ skill で Amazon と TikTok のデータセットにも対応しています。例:

scraping-api skill を使って、keywords リクエストタイプと 1 ページ目を指定し、
Amazon.com で "coffee" を検索してください。JSON レスポンスを保存してください。

アシスタントは skill に同梱されている scripts/scrape.mjs ファイルと、該当する入力リファレンスを使用します。スクリプトのパスは、インストールされた skill ディレクトリ内に解決される必要があります。

設定

資格情報の優先順位

CLI と同梱の Scraping API スクリプトは、次の順序で資格情報を読み取ります:

  1. 設定ファイル内の apiKey(旧形式の api_token フィールドにも対応)。
  2. SCRAPELESS_API_TOKEN。
  3. SCRAPELESS_API_KEY。

保存されたキーは環境変数より優先されます。アカウントを切り替える場合は、別の環境変数のキーを使用する前に、保存されたキーを更新または削除してください:

scrapeless config remove api_token

scrapeless config path で設定ファイルの場所を確認し、scrapeless config list でマスクされた設定を確認できます。

SCRAPELESS_CONFIG_PATH は CLI と同梱スクリプトの設定パスを上書きします。クラウドブラウザ自体のデフォルト設定パスは変更されません。6 つの skills すべてで資格情報を一致させるには、共有のデフォルトファイルを使用してください。

.env ファイルを使用する

CLI と同梱スクリプトは .env を自動的に読み込みません。SCRAPELESS_API_KEY を含む .env ファイルを管理している場合は、アシスタントを起動する前に読み込んでください。Bash または Zsh の場合:

set -a
. ./.env
set +a

.env はバージョン管理の対象外にしてください。

長時間実行されるタスク

AI Scraper、Crawl、Scraping API は、結果の準備ができる前にタスク ID を返すことがあります。その ID を保持し、同じリクエストを再送信するのではなく、既存のタスクの結果を取得してください。

CLI ベースのタスクでは、TASK_ID を返された ID に置き換えます:

scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --json

AI タスクを作成したときと同じプラットフォームを指定してください。AI Scraper では success、Crawl では completed であることを確認します。ポーリングがタイムアウトすると、未完了のレスポンスが終了コード 0 で返されることがあるため、ステータスと内容を確認してください。

Scraping API のタスクを再開するには、インストールされた scraping-api skill ディレクトリで次を実行するか、スクリプトのパスを絶対パスに置き換えてください:

node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180

ポーリングがタイムアウトすると、スクリプトは終了コード 1 で終了し、利用可能な場合はタスク ID を出力します。クライアント側のタイムアウトによってサーバー側のタスクがキャンセルされることはありません。

トラブルシューティング

問題確認事項
アシスタントが skill を見つけられない正しいアシスタントとスコープにインストールしたか確認してください。npx skills list でインストール済みの skills を確認し、スコープのオプションについてはインストーラーのドキュメントを参照してください。
scrapeless が見つからないCLI をインストールし、アシスタントが PATH 経由で npm の実行ファイルディレクトリにアクセスできることを確認してください。
キーがない、または HTTP 401/403保存された設定と環境変数を確認してください。CLI がインストールされている場合は scrapeless auth status を実行してください。
.env ファイルが反映されない明示的に読み込み、設定済みの環境からアシスタントを起動してください。
初回使用時にブラウザのセットアップが失敗するnpm と GitHub Releases へのアクセス、およびブラウザキャッシュへの書き込み権限を確認してください。scrapeless browser --help でもインストールが実行される場合があります。
タスクが保留中のままタスク ID を保持して取得を再開してください。タスクを完了とみなす前に、返されたステータスを確認してください。
Scraping API スクリプトが見つからないskill ディレクトリ全体がインストールされていることを確認してください。scripts/scrape.mjs はプロジェクトディレクトリではなく、そのディレクトリを基準に解決してください。

手動でインストールする場合は、scripts/、references/、agents/ などのサブディレクトリを含め、各 skill のディレクトリ全体をコピーしてください。SKILL.md だけをコピーすると、必要なファイルが不足する可能性があります。

関連リソース