scrape-do-mcp

Servidor

Documentação

scrape-do-mcp

中文文档 | English

Um servidor MCP que encapsula as APIs documentadas do Scrape.do em um único pacote: a API principal de scraping, a API de Pesquisa Google, a API de Scraper da Amazon, a API Assíncrona e um auxiliar de configuração do Modo Proxy.

Documentação oficial: https://scrape.do/documentation/

Cobertura

  • scrape_url: API principal do Scrape.do com renderização de JS, segmentação geográfica, persistência de sessão, capturas de tela, ReturnJSON, interações com navegador, cookies e encaminhamento de cabeçalhos.
  • google_search: API estruturada de SERP do Google com google_domain, location, uule, lr, cr, safe, nfpr, filter, paginação e HTML bruto opcional.
  • amazon_product: Endpoint de PDP da Amazon.
  • amazon_offer_listing: Endpoint de listagem de ofertas da Amazon.
  • amazon_search: Endpoint de busca/categoria da Amazon.
  • amazon_raw_html: Endpoint da Amazon com HTML bruto e segmentação geográfica.
  • async_create_job, async_get_job, async_get_task, async_list_jobs, async_cancel_job, async_get_account: Cobertura da API Assíncrona com aliases amigáveis ao MCP e nomes de campos oficiais.
  • proxy_mode_config: Constrói detalhes de conexão do Modo Proxy oficial, strings de parâmetros padrão e referências de certificado CA.

Notas de Compatibilidade

  • scrape_url suporta aliases amigáveis ao MCP e nomes de parâmetros oficiais:
    • render_js ou render
    • super_proxy ou super
    • screenshot ou screenShot
  • google_search suporta:
    • query ou q
    • country ou gl
    • language ou hl
    • domain ou google_domain
    • includeHtml ou include_html
  • async_create_job aceita tanto campos de alias como targets, render, webhookUrl quanto campos oficiais da API Assíncrona como Targets, Render, WebhookURL.
  • async_get_job, async_get_task e async_cancel_job aceitam tanto jobId/taskId quanto os oficiais jobID/taskID.
  • async_list_jobs aceita tanto pageSize quanto o oficial page_size.
  • Para encaminhamento de cabeçalhos em scrape_url, passe headers mais header_mode (custom, extra ou forward).
  • Respostas de captura de tela preservam o corpo JSON oficial do Scrape.do e também anexam conteúdo de imagem do MCP quando capturas de tela estão presentes.
  • scrape_url agora usa como padrão output="raw" para se alinhar mais de perto à API oficial.
  • scrape_url inclui metadados de resposta em structuredContent, o que ajuda a expor pureCookies, transparentResponse e respostas binárias dentro do MCP.

Instalação

Instalação Rápida

claude mcp add-json scrape-do --scope user '{
  "type": "stdio",
  "command": "npx",
  "args": ["-y", "scrape-do-mcp"],
  "env": {
    "SCRAPE_DO_TOKEN": "YOUR_TOKEN_HERE"
  }
}'

Claude Desktop

Adicione isto ao ~/.claude.json:

{
  "mcpServers": {
    "scrape-do": {
      "command": "npx",
      "args": ["-y", "scrape-do-mcp"],
      "env": {
        "SCRAPE_DO_TOKEN": "YOUR_TOKEN_HERE"
      }
    }
  }
}

Obtenha seu token em https://app.scrape.do

Ferramentas Disponíveis

FerramentaFinalidade
scrape_urlWrapper principal da API de scraping do Scrape.do
google_searchResultados estruturados de busca do Google
amazon_productDados estruturados de PDP da Amazon
amazon_offer_listingOfertas de vendedores da Amazon
amazon_searchResultados de palavra-chave/categoria da Amazon
amazon_raw_htmlHTML bruto da Amazon com segmentação geográfica
async_create_jobCriar trabalhos na API Assíncrona
async_get_jobBuscar detalhes de trabalhos assíncronos
async_get_taskBuscar detalhes de tarefas assíncronas
async_list_jobsListar trabalhos assíncronos
async_cancel_jobCancelar trabalhos assíncronos
async_get_accountBuscar informações de conta/concorrência assíncronas
proxy_mode_configGerar configuração do Modo Proxy

Exemplos de Prompts

Scrape https://example.com with render=true and wait for #app.
Search Google for "open source MCP servers" with google_domain=google.co.uk and lr=lang_en.
Get the Amazon PDP for ASIN B0C7BKZ883 in the US with zipcode 10001.
Create an async job for these 20 URLs and give me the job ID.

Desenvolvimento

npm install
npm run build
npm run dev

Licença

MIT