Scrapeless Skills
O Scrapeless Skills permite que seu assistente de programação com IA use o Scrapeless por meio de instruções em linguagem natural. Extraia uma página da web, colete conteúdo de um site inteiro, consulte plataformas de IA, interaja com um navegador em nuvem, gere URLs de proxy ou obtenha dados estruturados do Google Search, da Amazon e do TikTok.
Cada skill inclui instruções para a tarefa e as referências ou scripts necessários para executá-la. Seu assistente precisa ser compatível com Agent Skills e conseguir executar comandos locais.
Skills disponíveis
| Skill | Use para |
|---|---|
web-unlocker | Extrair uma única página da web como HTML, Markdown, texto ou outro formato compatível, incluindo páginas renderizadas com JavaScript. |
crawl | Coletar várias páginas com limites de páginas, controle de profundidade, filtros de caminho e formatos de saída. |
ai-scraper | Coletar respostas e as citações disponíveis do ChatGPT, Gemini, Copilot, Perplexity, Grok, Alexa, Google AI Mode e Google AI Overview. |
agent-browser | Navegar por páginas, clicar em elementos, preencher formulários, inspecionar snapshots da página e capturar telas em uma sessão de navegador em nuvem. |
proxy | Gerar URLs de proxy autenticadas residenciais, IPv6 ou de datacenter com configurações de localização e sessão. |
scraping-api | Obter dados estruturados do Google Search, da Amazon e do TikTok. |
Use o Web Unlocker para extrair uma única página, o Crawl para coletar várias páginas e o Agent Browser para fluxos de trabalho que exigem interação contínua. Use o AI Scraper para respostas geradas por IA e a Scraping API para resultados padrão do Google Search ou os conjuntos de dados compatíveis da Amazon e do TikTok.
Início rápido
1. Prepare seu ambiente
Você precisa de:
- Node.js 22.20 ou posterior e npm para usar o fluxo de instalação abaixo.
- Um assistente de programação com IA compatível com Agent Skills e com a execução de comandos locais.
- Uma conta do Scrapeless e uma chave de API do painel.
- Acesso de rede aos serviços usados pelas skills selecionadas. O Agent Browser também baixa dependências do npm e do GitHub Releases no primeiro uso.
Verifique o Node.js e instale a CLI do Scrapeless:
node --version
npm install -g scrapeless
scrapeless --versionCinco skills usam a CLI. A skill scraping-api usa seu próprio script Node.js incluído e não exige a instalação global da CLI.
2. Instale as skills
No diretório do seu projeto, execute:
npx skills add scrapeless-ai/scrapeless-skillsSiga as instruções para selecionar as skills e o assistente de destino.
Para instalar apenas uma skill:
npx skills add scrapeless-ai/scrapeless-skills --skill web-unlockerPara instalar globalmente e usar em todos os projetos:
npx skills add scrapeless-ai/scrapeless-skills -gConsulte a documentação do instalador de Skills para ver os assistentes compatíveis e as opções de instalação.
3. Configure sua chave de API
Copie sua chave de API no painel do Scrapeless. Substitua YOUR_API_TOKEN pela sua chave e execute estes comandos localmente:
scrapeless config set api_token YOUR_API_TOKEN
scrapeless auth statusO arquivo de configuração padrão é ~/.scrapeless/config.json. A CLI, o script da Scraping API incluído e o navegador em nuvem podem usar essa configuração compartilhada.
Para configurar por variáveis de ambiente, use o seguinte no Bash ou Zsh:
export SCRAPELESS_API_KEY='YOUR_API_TOKEN'Inicie seu assistente a partir desse shell para que ele herde a variável. Um assistente iniciado separadamente, inclusive a partir de um aplicativo de desktop, precisa de sua própria configuração de ambiente ou de acesso ao arquivo de configuração salvo.
Se você instalou apenas a scraping-api, pode usar a variável de ambiente sem instalar a CLI. Os comandos config e auth acima exigem a CLI.
Não inclua sua chave em prompts de chat, arquivos compartilhados ou logs. Consulte Obtenha e proteja sua chave de API para orientações sobre o tratamento de credenciais.
4. Execute sua primeira tarefa
Peça ao seu assistente:
Use a skill web-unlocker para extrair https://example.com como Markdown
e salve o conteúdo em page.md.Se o seu assistente oferecer suporte à invocação explícita com $skill-name, você também pode escrever:
Use $web-unlocker para extrair https://example.com como Markdown
e salve o conteúdo em page.md.Revise o resultado informado pelo assistente e o arquivo gerado. Uma instalação bem-sucedida, por si só, não confirma que uma solicitação de dados foi concluída.
Exemplos de tarefas
Especifique a URL ou plataforma de destino, o escopo e a saída desejada. Substitua as URLs e os termos de pesquisa de exemplo pelos seus próprios dados.
Extrair uma página da web
Use a skill web-unlocker para extrair https://example.com como Markdown.
Salve o conteúdo extraído em page.md.O Web Unlocker permite extrair uma única página sem manter uma sessão de navegador interativa. A renderização de JavaScript fica ativada por padrão.
Rastrear um site
Use a skill crawl para coletar até 10 páginas de https://example.com.
Mantenha os links externos desativados, extraia apenas o conteúdo principal como Markdown
e salve os resultados do rastreamento em crawl.json.O conteúdo das páginas pode estar em Markdown enquanto o resultado geral do rastreamento continua em JSON. Inclua um limite de páginas e filtros de caminho quando precisar de uma coleta mais restrita.
Coletar respostas de IA
Use a skill ai-scraper para perguntar ao ChatGPT:
"Quais são os principais casos de uso de web scraping?"
Salve a resposta completa como JSON e preserve todas as citações retornadas.Os campos e as opções disponíveis dependem da plataforma. A saída JSON completa preserva os campos estruturados; a saída padrão da CLI extrai Markdown. As citações só são incluídas quando retornadas pelo serviço.
Automatizar um navegador
Use a skill agent-browser para criar uma sessão de navegador em nuvem,
abrir https://example.com, inspecionar a página e salvar uma captura de tela
em page.png. Feche a sessão ao terminar.Em tarefas interativas, o assistente usa referências de elementos do snapshot da página atual e mantém o mesmo ID de sessão durante todo o fluxo de trabalho.
Gerar uma URL de proxy
Use a skill proxy para gerar uma URL de proxy residencial dos EUA
pelo gateway da Ásia-Pacífico. Salve-a em um arquivo local privado
chamado proxy.txt e oculte a senha no seu resumo.A geração da URL de proxy acontece localmente. Ela não testa a conectividade, não valida a chave de API nem confirma o saldo disponível. A URL gerada contém credenciais.
Obter dados estruturados
Use a skill scraping-api para pesquisar "coffee" no Google com
hl=en e gl=us. Salve a resposta JSON completa em google-results.json.A mesma skill oferece suporte a conjuntos de dados da Amazon e do TikTok. Por exemplo:
Use a skill scraping-api para pesquisar "coffee" na Amazon.com,
usando o tipo de solicitação keywords e a página 1. Salve a resposta JSON.O assistente usa o arquivo scripts/scrape.mjs incluído na skill e a referência de entrada correspondente. O caminho do script deve ser resolvido dentro do diretório da skill instalada.
Configuração
Precedência de credenciais
A CLI e o script da Scraping API incluído leem as credenciais nesta ordem:
apiKeyno arquivo de configuração, com suporte ao campo legadoapi_token.SCRAPELESS_API_TOKEN.SCRAPELESS_API_KEY.
Uma chave salva tem precedência sobre as variáveis de ambiente. Ao trocar de conta, atualize ou remova a chave salva antes de usar uma chave de ambiente diferente:
scrapeless config remove api_tokenUse scrapeless config path para localizar o arquivo de configuração e scrapeless config list para inspecionar as configurações mascaradas.
SCRAPELESS_CONFIG_PATH substitui o caminho de configuração da CLI e do script incluído. Ele não altera o caminho de configuração padrão do próprio navegador em nuvem. Use o arquivo padrão compartilhado para manter as credenciais consistentes nas seis skills.
Usando um arquivo .env
A CLI e o script incluído não carregam o .env automaticamente. Se você mantém um arquivo .env que contém SCRAPELESS_API_KEY, carregue-o antes de iniciar seu assistente. No Bash ou Zsh:
set -a
. ./.env
set +aMantenha o .env fora do controle de versão.
Tarefas de longa duração
O AI Scraper, o Crawl e a Scraping API podem retornar um ID de tarefa antes que os resultados estejam prontos. Guarde esse ID e recupere a tarefa existente em vez de enviar a mesma solicitação novamente.
Para tarefas baseadas na CLI, substitua TASK_ID pelo ID retornado:
scrapeless ai result TASK_ID --platform chatgpt --wait --json
scrapeless crawl result TASK_ID --wait --jsonUse a plataforma que criou a tarefa de IA. Confirme success para o AI Scraper ou completed para o Crawl. Um tempo limite de polling pode retornar uma resposta inacabada com código de saída 0, portanto inspecione o status e o conteúdo.
Para retomar uma tarefa da Scraping API, execute o seguinte a partir do diretório da skill scraping-api instalada ou substitua o caminho do script pelo caminho absoluto:
node scripts/scrape.mjs --task-id TASK_ID --max-polls 20 --timeout 180O script é encerrado com o código 1 quando o tempo limite de polling é atingido e inclui o ID da tarefa quando disponível. Um tempo limite no cliente não cancela a tarefa no servidor.
Solução de problemas
| Problema | O que verificar |
|---|---|
| O assistente não encontra uma skill | Confirme que você a instalou para o assistente e o escopo corretos. Use npx skills list para ver as skills instaladas e consulte a documentação do instalador para conhecer as opções de escopo. |
scrapeless não é encontrado | Instale a CLI e verifique se o assistente consegue acessar o diretório de executáveis do npm pelo seu PATH. |
| Chave ausente ou HTTP 401/403 | Verifique a configuração salva e as variáveis de ambiente. Se a CLI estiver instalada, execute scrapeless auth status. |
Um arquivo .env não tem efeito | Carregue-o explicitamente e inicie o assistente a partir do ambiente configurado. |
| A configuração do navegador falha no primeiro uso | Verifique o acesso ao npm e ao GitHub Releases e as permissões de gravação no cache do navegador. Até mesmo scrapeless browser --help pode acionar a instalação. |
| Uma tarefa continua pendente | Guarde o ID da tarefa e retome a recuperação. Verifique o status retornado antes de considerar a tarefa concluída. |
| O script da Scraping API não é encontrado | Confirme que o diretório completo da skill foi instalado. Resolva scripts/scrape.mjs em relação a esse diretório, e não ao diretório do seu projeto. |
Para instalação manual, copie o diretório completo de cada skill, incluindo os subdiretórios scripts/, references/ e agents/. Copiar apenas o SKILL.md pode deixar de fora arquivos necessários.