UseScraper

Un servidor para web scraping que utiliza la API de UseScraper.

Documentación

UseScraper MCP Server

smithery badge Este es un servidor MCP basado en TypeScript que proporciona capacidades de web scraping mediante la API de UseScraper. Expone una única herramienta 'scrape' que puede extraer contenido de páginas web en diversos formatos.

UseScraper Server MCP server

Características

Herramientas

  • scrape - Extraer contenido de una página web
    • Parámetros:
      • url (obligatorio): La URL de la página web a procesar
      • format (opcional): El formato para guardar el contenido (text, html, markdown). Valor predeterminado: markdown
      • advanced_proxy (opcional): Usar proxy avanzado para evitar la detección de bots. Valor predeterminado: false
      • extract_object (opcional): Objeto que especifica los datos a extraer

Instalación

Instalación mediante Smithery

Para instalar UseScraper para Claude Desktop automáticamente mediante Smithery:

npx -y @smithery/cli install usescraper-server --client claude

Instalación manual

  1. Clonar el repositorio:

    git clone https://github.com/your-repo/usescraper-server.git
    cd usescraper-server
    
  2. Instalar las dependencias:

    npm install
    
  3. Compilar el servidor:

    npm run build
    

Configuración

Para usarlo con Claude Desktop, añade la configuración del servidor:

En MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json En Windows: %APPDATA%/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

Reemplaza /path/to/usescraper-server con la ruta real al servidor y your-api-key-here con tu clave de API de UseScraper.

Uso

Una vez configurado, puedes usar la herramienta 'scrape' a través de la interfaz MCP. Ejemplo de uso:

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

Desarrollo

Para desarrollo con recompilación automática:

npm run watch

Depuración

Dado que los servidores MCP se comunican a través de stdio, la depuración puede ser un desafío. Recomendamos usar el MCP Inspector, que está disponible como script del paquete:

npm run inspector

El Inspector proporcionará una URL para acceder a las herramientas de depuración en tu navegador.