MCP Desktop Automation

MCP Desktop Automation

Um servidor Model Context Protocol que fornece capacidades de automação de desktop usando RobotJS e recursos de captura de tela. Este servidor permite que LLMs controlem movimentos do mouse, entradas de teclado e capturem capturas de tela do ambiente desktop.

Configuração para usar o servidor Desktop Automation

Veja como configurar o Claude Desktop para usar o servidor MCP Desktop Automation:

NPX

{
  "mcpServers": {
    "desktop-automation": {
      "command": "npx",
      "args": ["-y", "mcp-desktop-automation"]
    }
  }
}

Permissões

Este servidor requer permissões de nível de sistema para:

• Capturar capturas de tela da sua tela
• Controlar o movimento do mouse e cliques
• Simular entrada de teclado

Ao executar o Claude Desktop pela primeira vez com este servidor, você pode precisar conceder essas permissões nas configurações de segurança do seu sistema operacional.

Limitações

Embora este servidor funcione com vários clientes MCP, ele foi testado principalmente com o Claude Desktop.

Importante: A implementação atual tem um limite de tamanho de resposta de 1MB. Para capturas de tela, isso significa:

• Capturas de tela de alta resolução podem exceder esse limite e falhar
• Os testes mostraram que a resolução 800x600 funciona de forma confiável
• Considere reduzir a resolução da tela ou capturar áreas específicas da tela se você encontrar problemas

Requisitos

• Node.js (>=14.x)

Componentes

Ferramentas

• get_screen_size

  • Obtém as dimensões da tela
  • Nenhum parâmetro de entrada necessário

• screen_capture

  • Captura o conteúdo atual da tela
  • Nenhum parâmetro de entrada necessário

• keyboard_press

  • Pressiona uma tecla ou combinação de teclas
  • Entradas:
    • key (string, obrigatório): Tecla a pressionar (ex.: 'enter', 'a', 'control')
    • modifiers (array de strings, opcional): Teclas modificadoras para manter enquanto pressiona a tecla. Valores possíveis: "control", "shift", "alt", "command"

• keyboard_type

  • Digita texto na posição atual do cursor
  • Entrada: text (string, obrigatório): Texto a digitar

• mouse_click

  • Realiza um clique do mouse
  • Entradas:
    • button (string, opcional, padrão: "left"): Botão do mouse para clicar. Valores possíveis: "left", "right", "middle"
    • double (boolean, opcional, padrão: false): Se deve realizar um clique duplo

• mouse_move

  • Move o mouse para as coordenadas especificadas
  • Entradas:
    • x (number, obrigatório): Coordenada X
    • y (number, obrigatório): Coordenada Y

Recursos

O servidor fornece acesso a capturas de tela:

1. Lista de Capturas de Tela (screenshot://list)

   • Lista todas as capturas de tela disponíveis por nome

2. Conteúdo da Captura de Tela (screenshot://{id})

   • Imagens PNG das capturas de tela
   • Acessível pelo ID da captura de tela (nomenclatura baseada em timestamp)

Principais Recursos

• Controle do mouse no desktop
• Simulação de entrada de teclado
• Detecção do tamanho da tela
• Recursos de captura de tela
• Formato de resposta JSON simples

Licença

Este servidor MCP é licenciado sob a Licença MIT. Isso significa que você é livre para usar, modificar e distribuir o software, sujeito aos termos e condições da Licença MIT. Para mais detalhes, consulte o arquivo LICENSE no repositório do projeto.