Crawleo MCP Server

Crawleo MCP - Pesquisa Web & Crawl para IA Permite que assistentes de IA acessem dados da web em tempo real por meio de integração nativa de ferramentas. Duas Ferramentas Poderosas: web.search - Pesquisa web em tempo real com formatação flexível Pesquise de qualquer país/idioma Resultados específicos por dispositivo (desktop, mobile, tablet) Múltiplos formatos de saída: HTML Aprimorado (otimizado para IA, limpo) HTML Bruto (fonte original) Markdown (texto formatado) Texto Simples (conteúdo puro) Opção de auto-crawl para extração completa de conteúdo Suporte a pesquisa em várias páginas web.crawl - Extração profunda de conteúdo Extraia conteúdo limpo de qualquer URL Suporte a renderização JavaScript Conversão para Markdown Captura de tela Suporte a múltiplas URLs Recursos: ✅ Zero retenção de dados (privacidade total)

GitHub

Documentação

Crawleo MCP Server

Recursos de busca e crawling na web em tempo real para assistentes de IA através do Model Context Protocol (MCP).

Visão Geral

O Crawleo MCP permite que assistentes de IA acessem dados web ao vivo por meio de duas ferramentas poderosas:

web.search - Busca na web em tempo real com múltiplos formatos de saída
web.crawl - Extração profunda de conteúdo de qualquer URL

Recursos

✅ Busca na web em tempo real de qualquer país/idioma
✅ Múltiplos formatos de saída - HTML aprimorado, HTML bruto, Markdown, Texto simples
✅ Resultados específicos por dispositivo - Visualização para desktop, mobile ou tablet
✅ Extração profunda de conteúdo com renderização de JavaScript
✅ Zero retenção de dados - Privacidade completa
✅ Opção de crawling automático para resultados de busca

Instalação

Opção 1: NPM (Recomendado para uso local)

Instale globalmente via npm:

npm install -g crawleo-mcp

Ou use npx sem instalar:

npx crawleo-mcp

Opção 2: Clonar Repositório

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

Opção 3: Docker

Construa e execute usando Docker:

# Build the image
docker build -t crawleo-mcp .

# Run with your API key
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

Configuração Docker para clientes MCP:

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

Opção 4: Servidor Remoto (Sem necessidade de instalação)

Use a versão hospedada em https://api.crawleo.dev/mcp - veja exemplos de configuração abaixo.

Obtendo sua Chave de API

Visite crawleo.dev
Cadastre-se para uma conta gratuita
Navegue até seu painel
Copie sua chave de API (começa com sk_)

Instruções de Configuração

Usando Servidor MCP Local (pacote npm)

Após instalar via npm, configure seu cliente MCP para usar o servidor local:

Claude Desktop / Cursor / Windsurf (Local):

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Ou se instalado globalmente:

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

A partir do repositório clonado:

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Usando Servidor Remoto (Hospedado)

1. Claude Desktop

Localização do arquivo de configuração:

macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json
Linux: ~/.config/Claude/claude_desktop_config.json

Configuração:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Substitua YOUR_API_KEY_HERE pela sua chave de API real do crawleo.dev.

Passos:

Abra o arquivo de configuração em um editor de texto
Adicione a configuração do Crawleo MCP
Salve o arquivo
Reinicie completamente o Claude Desktop (feche e reabra)
Inicie uma nova conversa e peça ao Claude para buscar na web!

Exemplo de uso:

"Search for the latest AI news and summarize the top 5 articles"
"Find Python web scraping tutorials and extract code examples"

2. Cursor IDE

Localização do arquivo de configuração:

macOS: ~/.cursor/config.json ou ~/Library/Application Support/Cursor/config.json
Windows: %APPDATA%\Cursor\config.json
Linux: ~/.config/Cursor/config.json

Configuração:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Passos:

Localize e abra o arquivo de configuração do Cursor
Adicione a configuração do Crawleo MCP
Salve o arquivo
Reinicie o Cursor
As ferramentas MCP estarão disponíveis no seu assistente de IA

Exemplo de uso no Cursor:

"Search for React best practices and add them to my code comments"
"Find the latest documentation for this API endpoint"

3. Windsurf IDE

Localização do arquivo de configuração:

macOS: ~/Library/Application Support/Windsurf/config.json
Windows: %APPDATA%\Windsurf\config.json
Linux: ~/.config/Windsurf/config.json

Configuração:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Passos:

Abra o arquivo de configuração do Windsurf
Adicione a configuração do servidor MCP do Crawleo
Salve e reinicie o Windsurf
Comece a usar a busca na web no seu fluxo de trabalho de codificação

4. GitHub Copilot

Localização do arquivo de configuração:

Para GitHub Copilot no VS Code ou editores compatíveis, você precisa configurar servidores MCP.

Configuração:

Crie ou edite seu arquivo de configuração MCP e adicione:

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Exemplo completo com múltiplos servidores:

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Passos:

Abra sua configuração MCP do GitHub Copilot
Adicione a configuração do servidor Crawleo
Salve o arquivo
Reinicie o VS Code ou seu IDE
O GitHub Copilot agora pode usar o Crawleo para buscas na web!

Exemplo de uso:

Ask Copilot: "Search for the latest Python best practices"
Ask Copilot: "Find documentation for this library"

5. Plataforma OpenAI (Integração Direta)

A OpenAI agora suporta servidores MCP diretamente! Veja como usar o Crawleo com a API da OpenAI:

Exemplo em Python:

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

Parâmetros principais:

server_url - Endpoint MCP do Crawleo
authorization - Sua chave de API do Crawleo
allowed_tools - Habilite web.search e/ou web.crawl
require_approval - Defina como "always", "never" ou "conditional"

Exemplo em Node.js:

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

Ferramentas Disponíveis

web.search

Busque na web em tempo real com parâmetros personalizáveis.

Parâmetros:

query (obrigatório) - Termo de busca
max_pages - Número de páginas de resultados (padrão: 1)
setLang - Código do idioma (ex.: "en", "ar")
cc - Código do país (ex.: "US", "EG")
device - Tipo de dispositivo: "desktop", "mobile", "tablet" (padrão: "desktop")
enhanced_html - Obter HTML limpo (padrão: true)
raw_html - Obter HTML bruto (padrão: false)
markdown - Obter formato Markdown (padrão: true)
page_text - Obter texto simples (padrão: false)
auto_crawling - Crawling automático das URLs de resultado (padrão: false)

Exemplo:

Ask your AI: "Search for 'Python web scraping' and return results in Markdown"

web.crawl

Extraia conteúdo de URLs específicas.

Parâmetros:

urls (obrigatório) - Lista de URLs para rastrear
rawHtml - Retornar HTML bruto (padrão: false)
markdown - Converter para Markdown (padrão: false)
screenshot - Capturar screenshot (opcional)
country - Localização geográfica

Exemplo:

Ask your AI: "Crawl https://example.com and extract the main content in Markdown"

Solução de Problemas

Servidor MCP não aparece

Verifique a localização do arquivo de configuração - Certifique-se de que está editando o arquivo correto
Valide a sintaxe JSON - Use um validador JSON para verificar erros de sintaxe
Reinicie o aplicativo - Feche e reabra completamente (não apenas recarregue)
Verifique a chave de API - Garanta que sua chave de API seja válida e ativa em crawleo.dev

Erros de autenticação

Verifique se sua chave de API está correta (deve começar com sk_)
Certifique-se de que a chave está entre aspas
Verifique se o prefixo "Bearer " está incluído no cabeçalho Authorization (para Claude/Cursor/Windsurf)
Para a Plataforma OpenAI, use a chave diretamente no campo authorization
Confirme se sua conta tem créditos disponíveis em crawleo.dev

Nenhum resultado retornado

Verifique sua conexão com a internet
Confirme se a consulta de busca não está vazia
Tente uma consulta mais simples primeiro
Verifique o status da API em crawleo.dev

Nomes de ferramentas não reconhecidos

Certifique-se de usar os nomes corretos das ferramentas:

Use web.search (não search_web)
Use web.crawl (não crawl_web)

Exemplos de Uso

Assistente de Pesquisa

"Search for recent developments in quantum computing and summarize the key findings"

Análise de Conteúdo

"Search for competitor pricing pages and extract their pricing tiers"

Documentação de Código

"Find the official documentation for FastAPI and extract the quickstart guide"

Monitoramento de Notícias

"Search for today's news about artificial intelligence from US sources"

Pesquisa de Mercado

"Search for customer reviews of iPhone 15 and analyze sentiment"

Preços

O Crawleo MCP usa os mesmos preços acessíveis da nossa API:

10.000 buscas → $20
100.000 buscas → $100
250.000 buscas → $200

Verifique seu uso e gerencie sua assinatura em crawleo.dev

Privacidade e Segurança

✅ Zero retenção de dados - Nunca armazenamos suas consultas ou resultados de busca
✅ Autenticação segura - Chaves de API transmitidas via HTTPS
✅ Sem rastreamento - Seus padrões de uso permanecem privados

Suporte

Documentação: crawleo.dev/docs
Status da API: crawleo.dev/status
Contato: support@crawleo.dev

Crawleo MCP Server

Documentação

Crawleo MCP Server

Visão Geral

Recursos

Instalação

Opção 1: NPM (Recomendado para uso local)

Opção 2: Clonar Repositório

Opção 3: Docker

Opção 4: Servidor Remoto (Sem necessidade de instalação)

Obtendo sua Chave de API

Instruções de Configuração

Usando Servidor MCP Local (pacote npm)

Usando Servidor Remoto (Hospedado)

1. Claude Desktop

2. Cursor IDE

3. Windsurf IDE

4. GitHub Copilot

5. Plataforma OpenAI (Integração Direta)

Ferramentas Disponíveis

web.search

web.crawl

Solução de Problemas

Servidor MCP não aparece

Erros de autenticação

Nenhum resultado retornado

Nomes de ferramentas não reconhecidos

Exemplos de Uso

Assistente de Pesquisa

Análise de Conteúdo

Documentação de Código

Monitoramento de Notícias

Pesquisa de Mercado

Preços

Privacidade e Segurança

Suporte

Links