Scraper.is MCP

Scraper.is MCP

Uma integração Model Context Protocol (MCP) para Scraper.is - Uma ferramenta poderosa de raspagem web para assistentes de IA.

Este pacote permite que assistentes de IA façam raspagem de conteúdo web através do protocolo MCP, permitindo que acessem informações atualizadas da web.

Recursos

• 🌐 Raspagem Web: Extraia conteúdo de qualquer site
• 📸 Capturas de tela: Capture representações visuais de páginas web
• 📄 Múltiplos formatos: Obtenha conteúdo em markdown, HTML ou JSON
• 🔄 Atualizações de progresso: Relatórios de progresso em tempo real durante operações de raspagem
• 🔌 Integração MCP: Integração perfeita com assistentes de IA compatíveis com MCP

Instalação

Instalação via Smithery

Para instalar o scaperis-mcp para Claude Desktop automaticamente via Smithery:

npx -y @smithery/cli install @Ai-Quill/scaperis-mcp --client claude

Instalação manual

npm install -g scraperis-mcp

Ou com yarn:

yarn global add scraperis-mcp

Pré-requisitos

Você precisa de uma chave de API do Scraper.is para usar este pacote.

Obtendo sua chave de API

1. Cadastre-se ou faça login em scraper.is
2. Navegue até a seção de Chaves de API no seu painel: https://www.scraper.is/dashboard/apikeys
3. Crie uma nova chave de API ou copie sua chave existente
4. Armazene esta chave com segurança, pois você precisará dela para usar este pacote

Uso

Configuração do ambiente

Crie um arquivo .env com sua chave de API do Scraper.is:

SCRAPERIS_API_KEY=your_api_key_here

Integração com Claude Desktop

Para usar este pacote com Claude Desktop:

1. Instale o pacote globalmente:

   npm install -g scraperis-mcp
   

2. Adicione a seguinte configuração ao seu arquivo claude_desktop_config.json:

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }
   

3. Substitua your-api-key-here pela sua chave de API real do Scraper.is.

4. Reinicie o Claude Desktop para aplicar as alterações.

Executando com o MCP Inspector

Para desenvolvimento e testes, você pode usar o MCP Inspector:

npx @modelcontextprotocol/inspector scraperis-mcp

Integração com assistentes de IA

Este pacote foi projetado para ser usado com assistentes de IA que suportam o Model Context Protocol (MCP). Quando configurado corretamente, o assistente de IA pode usar as seguintes ferramentas:

Ferramenta Scrape

A ferramenta scrape permite que a IA extraia conteúdo de sites. Ela suporta vários formatos:

• markdown: Retorna o conteúdo em formato markdown
• html: Retorna o conteúdo em formato HTML
• screenshot: Retorna uma captura de tela da página web
• json: Retorna dados estruturados em formato JSON

Exemplo de prompt para a IA:

Can you scrape the latest news from techcrunch.com and summarize it for me?

Referência da API

Ferramentas

scrape

Extrai conteúdo de uma página web com base em um prompt.

Parâmetros:

• prompt (string): O prompt que descreve o que extrair, incluindo a URL
• format (string): O formato no qual retornar o conteúdo (markdown, html, screenshot, json, quick)

Exemplo:

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

Desenvolvimento

Configuração

1. Clone o repositório:

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp
   

2. Instale as dependências:

   npm install
   

3. Compile o projeto:

   npm run build
   

Scripts

• npm run build: Compila o projeto
• npm run watch: Observa alterações e recompila
• npm run dev: Executa com o MCP Inspector para desenvolvimento
• npm run test: Executa testes
• npm run lint: Executa o ESLint

Contribuições

Contribuições são bem-vindas! Sinta-se à vontade para enviar um Pull Request.

Licença

Este projeto está licenciado sob a Licença MIT - consulte o arquivo LICENSE para obter detalhes.

Agradecimentos

• Model Context Protocol
• Scraper.is