Scrapeless CLI

Visão geral

A Scrapeless CLI oferece um único comando scrapeless para extração web, rastreamento de sites, respostas de IA, geração de URLs de proxy e operações de navegador em nuvem. Execute-a em um terminal ou chame-a a partir dos seus scripts de automação.

Recursos

O namespace api é reservado e não está implementado.

Primeiros passos

• Início rápido — instale, configure sua chave e faça sua primeira requisição.
• Exemplos de uso — comandos para cada recurso.
• Configuração e tarefas — credenciais, saída, polling e requisitos do Browser.

Início rápido

Requisitos

Use Node.js 22 ou posterior e npm. O Node.js é o runtime da CLI; você não precisa escrever JavaScript nem TypeScript. Uma conta Scrapeless e uma chave de API são necessárias para os serviços autenticados.

1. Instale a CLI

npm install -g scrapeless
scrapeless --version
scrapeless --help

2. Configure sua chave de API

Copie sua chave de API no painel do Scrapeless e substitua YOUR_API_TOKEN:

1. Abra Settings (Configurações) no painel.
2. Selecione API Key Management (Gerenciamento de chaves de API).
3. Use uma chave disponível ou escolha Create API Key (Criar chave de API) se precisar de uma. Copie a chave para o comando de configuração abaixo.

scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth status

auth status verifica a autenticação e o saldo da conta. Requisições na nuvem e tráfego de proxy consomem créditos da conta.

3. Extraia uma página

scrapeless unlock https://example.com --type markdown

O comando exibe o Markdown extraído da página.

Inspecione a resposta completa

Adicione --json para inspecionar a resposta completa, incluindo seu código e o conteúdo da página:

scrapeless unlock https://example.com --type markdown --json

Exemplos de uso

Instale a CLI e configure sua chave de API antes de executar estes exemplos.

Web Unlocker

Extraia uma região selecionada como HTML ou salve uma resposta JSON completa:

scrapeless unlock https://example.com --type html --selector body
scrapeless unlock https://example.com --type markdown --json -o page.json

scrape é um alias de unlock. A saída padrão é HTML, com renderização de JavaScript ativada.

Crawl

scrapeless crawl https://example.com --limit 3 --max-depth 2 --formats markdown --json -o crawl.json

--formats markdown seleciona o formato do conteúdo das páginas; o resultado geral da tarefa continua sendo JSON. Delimite o escopo de um rastreamento com --include-paths e --exclude-paths.

AI Scraper

scrapeless ai platforms
scrapeless ai chatgpt "Explain what Scrapeless is used for" -o answer.md
scrapeless ai perplexity "What web scraping techniques are available?" --web-search true --json -o answer.json

Tarefas bem-sucedidas retornam Markdown por padrão. As opções variam conforme a plataforma; use ai platforms para ver a lista atual. Os prompts em inglês são apenas exemplos: a CLI aceita texto Unicode, e a disponibilidade de idiomas depende do serviço selecionado.

Proxies

scrapeless proxy gateways
scrapeless proxy create --type residential --country US --gateway us

A geração da URL acontece localmente, sem testar a conectividade. Os tipos suportados são residential, ipv6 e datacenter; os gateways aceitam us, eu, ap ou hostname:port. A URL contém credenciais; mantenha-a em sigilo.

Navegador em nuvem

Substitua SESSION_ID pelo ID de sessão retornado por new-session:

scrapeless browser new-session --name demo --ttl 300 --json
scrapeless browser --session-id SESSION_ID open https://example.com
scrapeless browser --session-id SESSION_ID snapshot -i
scrapeless browser --session-id SESSION_ID screenshot page.png
scrapeless browser --session-id SESSION_ID close

Para click @e1 ou fill @e2 "hello world", use referências interativas reais de um snapshot recente enquanto a sessão estiver aberta. Por padrão, o primeiro uso, incluindo browser --help, instala a CLI upstream; consulte Requisitos do Browser em Configuração e tarefas.

Para ver as opções dos comandos, execute scrapeless unlock --help, scrapeless crawl --help, scrapeless ai --help ou scrapeless proxy create --help. O comportamento de instalação no primeiro uso de browser --help está descrito acima.

A referência completa de comandos e as instruções de build a partir do código-fonte estão no repositório da CLI. O comportamento e a cobrança do serviço de IA são abordados na documentação do AI Scraper.

Configuração e tarefas

Credenciais

O arquivo padrão é ~/.scrapeless/config.json. A precedência da chave é arquivo de configuração → SCRAPELESS_API_TOKEN → SCRAPELESS_API_KEY. Para usar uma variável de ambiente:

export SCRAPELESS_API_KEY="YOUR_API_TOKEN"

Uma chave salva tem precedência. A CLI não carrega .env automaticamente. Esta é a sintaxe POSIX; no PowerShell, use $env:SCRAPELESS_API_KEY="YOUR_API_TOKEN".

Um caminho de configuração personalizado não altera o arquivo padrão do Browser. O wrapper repassa a chave resolvida por meio de uma variável de ambiente, mas a chave salva no arquivo padrão do Browser pode sobrescrevê-la. Use o arquivo padrão compartilhado para manter a autenticação consistente.

Saída e corpos de requisição

Os comandos HTTP suportam --json para a resposta completa e -o, --output <file> para salvar a saída. Por padrão, os resultados vão para o stdout; com -o, eles são salvos no arquivo. O progresso, os avisos de ID de tarefa durante o polling e os erros vão para o stderr. Com --no-wait, a resposta de criação, incluindo o ID da tarefa, faz parte da saída do resultado.

A criação no Unlocker, no Crawl e no AI aceita --data '<JSON>' ou --data @request.json. A precedência é flags explícitas → campos do corpo → padrões da CLI; objetos aninhados são mesclados e arrays são substituídos.

Tratamento de tarefas

Por padrão, a criação no Crawl e no AI faz polling a cada 5 segundos por até 300 segundos. Adicione --no-wait para retornar logo após a criação. Consulte uma tarefa existente com o ID retornado:

scrapeless crawl result TASK_ID --wait --timeout 300 --interval 5
scrapeless ai result TASK_ID --platform chatgpt --wait --timeout 300 --interval 5

Use o ID do serviço correspondente. Um timeout de polling não cancela a tarefa no servidor. Verifique completed no Crawl ou success no AI e inspecione o conteúdo real; o código de saída 0 por si só não é suficiente.

--timeout e --interval usam segundos; as opções de scraping --wait-for e --scrape-timeout usam milissegundos. Cada requisição HTTP tem um timeout separado de 60 segundos. Os POSTs de criação de tarefa não são repetidos automaticamente.

Requisitos do Browser

O wrapper precisa do npm, de acesso ao npm e ao GitHub Releases e de permissão de escrita no cache. As sessões são executadas na nuvem; o wrapper é executado localmente, sem necessidade de instalar o Chromium separadamente.

A versão fixada suporta macOS x64/arm64, Linux x64/arm64 e Windows x64; nenhum binário para Windows arm64 está incluído.

Solução de problemas