Crawleo MCP Server

Crawleo MCP Server

Capacidades de búsqueda web y rastreo en tiempo real para asistentes de IA mediante el Protocolo de Contexto de Modelo (MCP).

Resumen

Crawleo MCP permite que los asistentes de IA accedan a datos web en vivo a través de dos potentes herramientas:

• web.search: Búsqueda web en tiempo real con múltiples formatos de salida
• web.crawl: Extracción profunda de contenido de cualquier URL

Características

✅ Búsqueda web en tiempo real desde cualquier país/idioma
✅ Múltiples formatos de salida: HTML mejorado, HTML crudo, Markdown, texto plano
✅ Resultados específicos por dispositivo: vista de escritorio, móvil o tableta
✅ Extracción profunda de contenido con renderizado de JavaScript
✅ Cero retención de datos: privacidad completa
✅ Opción de rastreo automático para resultados de búsqueda

---

Instalación

Opción 1: NPM (Recomendado para uso local)

Instale globalmente mediante npm:

npm install -g crawleo-mcp

O use npx sin instalar:

npx crawleo-mcp

Opción 2: Clonar el repositorio

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

Opción 3: Docker

Construya y ejecute usando Docker:

# Build the image
docker build -t crawleo-mcp .

# Run with your API key
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

Configuración de Docker para clientes MCP:

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

Opción 4: Servidor remoto (sin necesidad de instalación)

Use la versión alojada en https://api.crawleo.dev/mcp - vea los ejemplos de configuración a continuación.

---

Obtener su clave API

1. Visite crawleo.dev
2. Regístrese para obtener una cuenta gratuita
3. Navegue a su panel de control
4. Copie su clave API (comienza con sk_)

---

Instrucciones de configuración

Usando el servidor MCP local (paquete npm)

Después de instalar mediante npm, configure su cliente MCP para usar el servidor local:

Claude Desktop / Cursor / Windsurf (local):

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

O si se instaló globalmente:

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

Desde el repositorio clonado:

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

---

Usando el servidor remoto (alojado)

1. Claude Desktop

Ubicación del archivo de configuración:

• macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
• Windows: %APPDATA%\Claude\claude_desktop_config.json
• Linux: ~/.config/Claude/claude_desktop_config.json

Configuración:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Reemplace YOUR_API_KEY_HERE con su clave API real de crawleo.dev.

Pasos:

1. Abra el archivo de configuración en un editor de texto
2. Agregue la configuración de MCP de Crawleo
3. Guarde el archivo
4. Reinicie Claude Desktop completamente (salga y vuelva a abrir)
5. Inicie una nueva conversación y pida a Claude que busque en la web

Ejemplo de uso:

"Search for the latest AI news and summarize the top 5 articles"
"Find Python web scraping tutorials and extract code examples"

---

2. Entorno Cursor

Ubicación del archivo de configuración:

• macOS: ~/.cursor/config.json o ~/Library/Application Support/Cursor/config.json
• Windows: %APPDATA%\Cursor\config.json
• Linux: ~/.config/Cursor/config.json

Configuración:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Pasos:

1. Localice y abra su archivo de configuración de Cursor
2. Agregue la configuración de MCP de Crawleo
3. Guarde el archivo
4. Reinicie Cursor
5. Las herramientas MCP estarán disponibles en su asistente de IA

Ejemplo de uso en Cursor:

"Search for React best practices and add them to my code comments"
"Find the latest documentation for this API endpoint"

---

3. Entorno Windsurf

Ubicación del archivo de configuración:

• macOS: ~/Library/Application Support/Windsurf/config.json
• Windows: %APPDATA%\Windsurf\config.json
• Linux: ~/.config/Windsurf/config.json

Configuración:

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Pasos:

1. Abra el archivo de configuración de Windsurf
2. Agregue la configuración del servidor MCP de Crawleo
3. Guarde y reinicie Windsurf
4. Comience a usar la búsqueda web en su flujo de trabajo de codificación

---

4. GitHub Copilot

Ubicación del archivo de configuración:

Para GitHub Copilot en VS Code o editores compatibles, debe configurar los servidores MCP.

Configuración:

Cree o edite su archivo de configuración MCP y agregue:

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Ejemplo completo con múltiples servidores:

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

Pasos:

1. Abra la configuración de MCP de GitHub Copilot
2. Agregue la configuración del servidor de Crawleo
3. Guarde el archivo
4. Reinicie VS Code o su IDE
5. GitHub Copilot ahora puede usar Crawleo para búsquedas web

Ejemplo de uso:

Ask Copilot: "Search for the latest Python best practices"
Ask Copilot: "Find documentation for this library"

---

5. Plataforma OpenAI (Integración directa)

¡OpenAI ahora admite servidores MCP directamente! Así se usa Crawleo con la API de OpenAI:

Ejemplo en Python:

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

Parámetros clave:

• server_url - Endpoint MCP de Crawleo
• authorization - Su clave API de Crawleo
• allowed_tools - Habilite web.search y/o web.crawl
• require_approval - Establezca en "always", "never" o "conditional"

Ejemplo en Node.js:

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

---

Herramientas disponibles

web.search

Busque en la web en tiempo real con parámetros personalizables.

Parámetros:

• query (obligatorio) - Término de búsqueda
• max_pages - Número de páginas de resultados (predeterminado: 1)
• setLang - Código de idioma (p. ej., "en", "ar")
• cc - Código de país (p. ej., "US", "EG")
• device - Tipo de dispositivo: "desktop", "mobile", "tablet" (predeterminado: "desktop")
• enhanced_html - Obtener HTML limpio (predeterminado: true)
• raw_html - Obtener HTML crudo (predeterminado: false)
• markdown - Obtener formato Markdown (predeterminado: true)
• page_text - Obtener texto plano (predeterminado: false)
• auto_crawling - Rastreo automático de URLs de resultados (predeterminado: false)

Ejemplo:

Ask your AI: "Search for 'Python web scraping' and return results in Markdown"

---

web.crawl

Extraiga contenido de URLs específicas.

Parámetros:

• urls (obligatorio) - Lista de URLs a rastrear
• rawHtml - Devolver HTML crudo (predeterminado: false)
• markdown - Convertir a Markdown (predeterminado: false)
• screenshot - Capturar pantalla (opcional)
• country - Ubicación geográfica

Ejemplo:

Ask your AI: "Crawl https://example.com and extract the main content in Markdown"

---

Solución de problemas

El servidor MCP no aparece

1. Verifique la ubicación del archivo de configuración: asegúrese de estar editando el archivo correcto
2. Valide la sintaxis JSON: use un validador JSON para verificar errores de sintaxis
3. Reinicie la aplicación: salga completamente y vuelva a abrir (no solo recargue)
4. Revise la clave API: asegúrese de que su clave API sea válida y esté activa en crawleo.dev

Errores de autenticación

• Verifique que su clave API sea correcta (debe comenzar con sk_)
• Asegúrese de que la clave esté entre comillas
• Compruebe que el prefijo "Bearer " esté incluido en el encabezado de autorización (para Claude/Cursor/Windsurf)
• Para la plataforma OpenAI, use la clave directamente en el campo authorization
• Confirme que su cuenta tenga créditos disponibles en crawleo.dev

No se devuelven resultados

• Revise su conexión a internet
• Verifique que la consulta de búsqueda no esté vacía
• Pruebe primero una consulta más simple
• Revise el estado de la API en crawleo.dev

Nombres de herramientas no reconocidos

Asegúrese de usar los nombres correctos de las herramientas:

• Use web.search (no search_web)
• Use web.crawl (no crawl_web)

---

Ejemplos de uso

Asistente de investigación

"Search for recent developments in quantum computing and summarize the key findings"

Análisis de contenido

"Search for competitor pricing pages and extract their pricing tiers"

Documentación de código

"Find the official documentation for FastAPI and extract the quickstart guide"

Monitoreo de noticias

"Search for today's news about artificial intelligence from US sources"

Investigación de mercado

"Search for customer reviews of iPhone 15 and analyze sentiment"

---

Precios

Crawleo MCP utiliza los mismos precios asequibles que nuestra API:

• 10,000 búsquedas → $20
• 100,000 búsquedas → $100
• 250,000 búsquedas → $200

Revise su uso y administre su suscripción en crawleo.dev

---

Privacidad y seguridad

✅ Cero retención de datos: nunca almacenamos sus consultas o resultados de búsqueda
✅ Autenticación segura: las claves API se transmiten por HTTPS
✅ Sin seguimiento: sus patrones de uso permanecen privados

---

Soporte

• Documentación: crawleo.dev/docs
• Estado de la API: crawleo.dev/status
• Contacto: support@crawleo.dev

---

Enlaces

• 🌐 Sitio web: crawleo.dev
• 📚 Documentación: crawleo.dev/docs
• 🔑 Obtener clave API: crawleo.dev

---

¿Esto es mejor? ¿Le gustaría que agregue algo más o cree guías adicionales?