Scraper.is MCP

Una potente herramienta de web scraping para asistentes de IA, impulsada por la API de Scraper.is.

GitHub
8
Prueba este MCPPatrocinado

Documentación

Scraper.is MCP

smithery badge npm version License: MIT

Una integración del Protocolo de Contexto de Modelo (MCP) para Scraper.is: una potente herramienta de extracción de datos web para asistentes de IA.

Este paquete permite a los asistentes de IA extraer contenido web mediante el protocolo MCP, lo que les permite acceder a información actualizada de la web.

Características

  • 🌐 Extracción web: Extrae contenido de cualquier sitio web
  • 📸 Capturas de pantalla: Captura representaciones visuales de páginas web
  • 📄 Múltiples formatos: Obtén contenido en markdown, HTML o JSON
  • 🔄 Actualizaciones de progreso: Informes de progreso en tiempo real durante las operaciones de extracción
  • 🔌 Integración MCP: Integración perfecta con asistentes de IA compatibles con MCP

Instalación

Instalación mediante Smithery

Para instalar scaperis-mcp para Claude Desktop automáticamente mediante Smithery:

npx -y @smithery/cli install @Ai-Quill/scaperis-mcp --client claude

Instalación manual

npm install -g scraperis-mcp

O con yarn:

yarn global add scraperis-mcp

Requisitos previos

Necesitas una clave de API de Scraper.is para usar este paquete.

Cómo obtener tu clave de API

  1. Regístrate o inicia sesión en scraper.is
  2. Navega a la sección de Claves de API en tu panel de control: https://www.scraper.is/dashboard/apikeys
  3. Crea una nueva clave de API o copia tu clave existente
  4. Guarda esta clave de forma segura, ya que la necesitarás para usar este paquete

Uso

Configuración del entorno

Crea un archivo .env con tu clave de API de Scraper.is:

SCRAPERIS_API_KEY=your_api_key_here

Integración con Claude Desktop

Para usar este paquete con Claude Desktop:

  1. Instala el paquete de forma global:

    npm install -g scraperis-mcp

  2. Añade la siguiente configuración a tu archivo claude_desktop_config.json:

    {
  "mcpServers": {
    "scraperis_scraper": {
      "command": "scraperis-mcp",
      "args": [],
      "env": {
        "SCRAPERIS_API_KEY": "your-api-key-here",
        "DEBUG": "*"
      }
    }
  }
}

  3. Reemplaza your-api-key-here con tu clave de API real de Scraper.is.

  4. Reinicia Claude Desktop para aplicar los cambios.

Ejecución con MCP Inspector

Para desarrollo y pruebas, puedes usar el MCP Inspector:

npx @modelcontextprotocol/inspector scraperis-mcp

Integración con asistentes de IA

Este paquete está diseñado para usarse con asistentes de IA que admitan el Protocolo de Contexto de Modelo (MCP). Cuando se configura correctamente, el asistente de IA puede usar las siguientes herramientas:

Herramienta de extracción

La herramienta scrape permite a la IA extraer contenido de sitios web. Admite varios formatos:

  • markdown: Devuelve el contenido en formato markdown
  • html: Devuelve el contenido en formato HTML
  • screenshot: Devuelve una captura de pantalla de la página web
  • json: Devuelve datos estructurados en formato JSON

Ejemplo de prompt para la IA:

Can you scrape the latest news from techcrunch.com and summarize it for me?

Referencia de la API

Herramientas

scrape

Extrae contenido de una página web según un prompt.

Parámetros:

  • prompt (cadena): El prompt que describe qué extraer, incluida la URL
  • format (cadena): El formato en el que devolver el contenido (markdown, html, screenshot, json, quick)

Ejemplo:

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

Desarrollo

Configuración

  1. Clona el repositorio:

    git clone https://github.com/Ai-Quill/scraperis-mcp.git
cd scraperis-mcp

  2. Instala las dependencias:

    npm install

  3. Compila el proyecto:

    npm run build

Scripts

  • npm run build: Compila el proyecto
  • npm run watch: Observa los cambios y recompila
  • npm run dev: Ejecuta con MCP Inspector para desarrollo
  • npm run test: Ejecuta las pruebas
  • npm run lint: Ejecuta ESLint

Contribuciones

¡Las contribuciones son bienvenidas! No dudes en enviar una solicitud de extracción (Pull Request).

Licencia

Este proyecto está licenciado bajo la Licencia MIT; consulta el archivo LICENSE para más detalles.

Agradecimientos