SDKNode.js SDK

Node SDK

インストール

Scrapeless Node SDKをインストールするには、npmを使用します。

npm install @scrapeless-ai/sdk

クイックスタート

  1. ログインしてScrapelessダッシュボードからAPIキーを取得します get-api-key.png
  2. APIキーをSCRAPELESS_API_KEYという環境変数として設定するか、Scrapelessクラスのパラメータとして渡します。

基本的な例を以下に示します。

import { Scrapeless } from '@scrapeless-ai/sdk';
 
const client = new Scrapeless({
  apiKey: 'YOUR_API_KEY' // or use SCRAPELESS_API_KEY env variable
});

利用可能なサービス

1. スクラピングブラウザ（ブラウザオートメーションラッパー）

スクラピングブラウザモジュールは、ScrapelessブラウザAPIの上に構築された、ブラウザオートメーションのための高レベルで統一されたAPIを提供します。PuppeteerとPlaywrightの両方をサポートし、より人間らしい自動化のためにrealClick、realFill、liveURLなどの高度なメソッドで標準のページオブジェクトを拡張します。

import { Puppeteer, createPuppeteerCDPSession } from '@scrapeless-ai/sdk';
 
const browser = await Puppeteer.connect({
  session_name: 'my-session',
  session_ttl: 180,
  proxy_country: 'US'
});
const page = await browser.newPage();
 
await page.goto('https://example.com');
const cdpSession = await createPuppeteerCDPSession(page);
 
await cdpSession.realClick('#login-btn');
await cdpSession.realFill('#username', 'myuser');
const urlInfo = await cdpSession.liveURL();
console.log('Current page URL:', urlInfo.liveURL);
 
await browser.close();

主な機能:

  • PuppeteerとPlaywrightの統一API
  • 人間らしい自動化：realClick、realFill、liveURL
  • Scrapelessブラウザセッションとの容易な統合

2. ブラウザAPI

高度な自動化シナリオのために、ブラウザセッションを直接管理します。

// ブラウザセッションの作成
const session = await client.browser.create({
  session_name: 'api-session',
  session_ttl: 120,
  proxy_country: 'US'
});
console.log('Browser session info:', session);

3. スクラピングAPI

Webページをスクレイピングし、様々なフォーマットでコンテンツを抽出します。

const result = await client.scraping.scrape({
  actor: 'scraper.shopee',
  input: {
    url: 'https://shopee.tw/product/58418206/7180456348'
  }
});
 
console.log('result: ', result);

4. Deep Serp API

検索エンジンの結果（例：Google）を抽出します。

const searchResults = await client.deepserp.scrape({
  actor: 'scraper.google.search',
  input: {
    q: 'nike site:www.nike.com'
  }
});
console.log('Search results:', searchResults);

5. ユニバーサルAPI

柔軟なデータ抽出のための汎用スクレイピング。

const universalResult = await client.universal.scrape({
  url: 'https://example.com',
  options: {
    javascript: true,
    screenshot: true,
    extractMetadata: true
  }
});
console.log('Universal scraping result:', universalResult);

6. プロキシAPI

スクレイピングと自動化タスクのプロキシを管理および設定します。

// プロキシURLの取得
const proxy_url = await client.proxies.proxy({
  session_name: 'session_name',
  session_ttl: 180,
  proxy_country: 'US',
  session_recording: true,
  defaultViewport: null
});
console.log('Proxy URL:', proxy_url);

エラー処理

SDKは包括的なエラー処理を提供します。

try {
  const result = await client.scraping.scrape({
    actor: 'scraper.shopee',
    input: {
      url: 'https://shopee.tw/product/58418206/7180456348'
    }
  });
} catch (error) {
  if (error instanceof ScrapelessError) {
    console.error('Scrapeless error:', error.message);
    console.error('Status code:', error.statusCode);
  } else {
    console.error('Unexpected error:', error);
  }
}

設定

SDKは様々な設定オプションをサポートします。

const client = new Scrapeless({
  apiKey: 'YOUR_API_KEY',
  timeout: 30000, // request timeout in milliseconds
  baseApiUrl: 'https://api.scrapeless.com',
  browserApiUrl: 'https://browser.scrapeless.com'
});

環境変数

  • SCRAPELESS_API_KEY - APIキー
  • SCRAPELESS_BASE_API_URL - 基本API URL
  • SCRAPELESS_BROWSER_API_URL - ブラウザAPI URL

ベストプラクティス

  1. APIキーのセキュリティ: APIキーをハードコードしないでください。環境変数を使用してください。
  2. エラー処理: API呼び出しを常にtry-catchブロックでラップしてください。
  3. リソースのクリーンアップ: 使用後は常にブラウザ接続を閉じます。
  4. レート制限: APIのレート制限を考慮してください。
  5. タイムアウト設定: 長時間実行される操作には適切なタイムアウトを設定してください。

サポート

サポート、ドキュメント、その他の例については、以下をご覧ください。

概要