MCP Desktop Automation

MCP Desktop Automation

Un servidor de Model Context Protocol que proporciona capacidades de automatización de escritorio utilizando RobotJS y capacidades de captura de pantalla. Este servidor permite a los LLM controlar los movimientos del ratón, las entradas del teclado y capturar capturas de pantalla del entorno de escritorio.

Configuración para usar el servidor de automatización de escritorio

Así es como se configura Claude Desktop para usar el servidor MCP Desktop Automation:

NPX

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

Permisos

Este servidor requiere permisos a nivel de sistema para:

• Capturar capturas de pantalla de tu pantalla
• Controlar el movimiento y los clics del ratón
• Simular la entrada del teclado

Al ejecutar Claude Desktop por primera vez con este servidor, es posible que debas conceder estos permisos en la configuración de seguridad de tu sistema operativo.

Limitaciones

Aunque este servidor funciona con varios clientes MCP, se ha probado principalmente con Claude Desktop.

Importante: La implementación actual tiene un límite de tamaño de respuesta de 1MB. Para las capturas de pantalla, esto significa:

• Las capturas de pantalla de alta resolución pueden superar este límite y fallar
• Las pruebas han demostrado que la resolución de 800x600 funciona de forma fiable
• Considera reducir la resolución de la pantalla o capturar áreas específicas de la pantalla si encuentras problemas

Requisitos

• Node.js (>=14.x)

Componentes

Herramientas

• get_screen_size

  • Obtiene las dimensiones de la pantalla
  • No se requieren parámetros de entrada

• screen_capture

  • Captura el contenido actual de la pantalla
  • No se requieren parámetros de entrada

• keyboard_press

  • Pulsa una tecla o combinación de teclas
  • Entradas:
    • key (cadena, obligatorio): Tecla a pulsar (p. ej., 'enter', 'a', 'control')
    • modifiers (matriz de cadenas, opcional): Teclas modificadoras que se mantienen pulsadas mientras se pulsa la tecla. Valores posibles: "control", "shift", "alt", "command"

• keyboard_type

  • Escribe texto en la posición actual del cursor
  • Entrada: text (cadena, obligatorio): Texto a escribir

• mouse_click

  • Realiza un clic del ratón
  • Entradas:
    • button (cadena, opcional, predeterminado: "left"): Botón del ratón para hacer clic. Valores posibles: "left", "right", "middle"
    • double (booleano, opcional, predeterminado: false): Si se debe realizar un doble clic

• mouse_move

  • Mueve el ratón a las coordenadas especificadas
  • Entradas:
    • x (número, obligatorio): Coordenada X
    • y (número, obligatorio): Coordenada Y

Recursos

El servidor proporciona acceso a capturas de pantalla:

1. Lista de capturas de pantalla (screenshot://list)

   • Lista todas las capturas de pantalla disponibles por nombre

2. Contenido de la captura de pantalla (screenshot://{id})

   • Imágenes PNG de las capturas de pantalla realizadas
   • Accesible mediante el ID de la captura de pantalla (nombrado basado en marca de tiempo)

Características principales

• Control del ratón del escritorio
• Simulación de entrada del teclado
• Detección del tamaño de la pantalla
• Capacidades de captura de pantalla
• Formato de respuesta JSON simple

Licencia

Este servidor MCP está licenciado bajo la Licencia MIT. Esto significa que eres libre de usar, modificar y distribuir el software, sujeto a los términos y condiciones de la Licencia MIT. Para más detalles, consulta el archivo LICENSE en el repositorio del proyecto.