MCP Test Utils

Automatización de la interfaz de usuario de escritorio para agentes de IA: capturas de pantalla, gestión de ventanas, ratón, teclado, árbol de Automatización de la interfaz de usuario, OCR

GitHubPrueba este MCPPatrocinado

Documentación

MCP Test Utils

100% Código de IA · Revisado por humanos

Servidor MCP para pruebas automatizadas de UI de escritorio. Un solo binario — sin runtime, sin dependencias, sin instalación.

Solo Windows x64. El soporte para macOS y Linux está planificado.

Da a los agentes de IA ojos y manos: capturas de pantalla, gestión de ventanas, ratón, teclado, UI Automation, OCR, búsqueda de archivos.

Por qué

Los agentes de IA pueden desencadenar acciones en aplicaciones pero no pueden ver la pantalla. Este servidor cubre esa brecha:

Agent triggers action → takes screenshot → sees the result →
switches window → clicks a button → verifies → writes report

Totalmente autónomo, sin necesidad de intervención del usuario.

Demostración

10 tareas. Una toma. Míralo en YouTube →

MCP Test Utils vs Anthropic Computer Use

Claude Cowork ahora incluye Computer Use integrado — Claude toma capturas de pantalla y hace clic en las interfaces visualmente. Funciona sin configuración. MCP Test Utils adopta un enfoque diferente: en lugar de adivinar dónde hacer clic a partir de una captura de pantalla, lee la estructura real de la UI a través de las API de Windows.

	MCP Test Utils	Computer Use
Precisión de clic	Exacta — API de UI Automation	Estimación visual desde captura
Velocidad y coste de tokens	Rápido, bajo coste — respuestas de texto	Más lento, costoso — imagen en cada paso
Estructura de la UI	Árbol completo: roles, estados, coordenadas	No disponible
OCR	Coordenadas a nivel de palabra, multilingüe	No disponible (solo visión del modelo)
Gestión de ventanas	Basada en API, coordenadas relativas a la ventana	Navegación visual
Búsqueda de archivos	Motor Ripgrep integrado	No disponible
Registro de sesión	JSONL + capturas de pantalla	No disponible
Análisis visual	✅ Mismo modelo Claude, resolución completa 1:1	✅ Mismo modelo Claude
Configuración	Descargar binario, añadir a la configuración	Integrado, un interruptor
Móvil / Dispatch	—	✅ Tareas desde el teléfono
Multiplataforma	Windows (macOS/Linux planificados)	macOS + Windows

MCP Test Utils es más rápido, más preciso y más barato por acción. Computer Use es más fácil de iniciar y funciona en múltiples plataformas. Se complementan entre sí.

Plataformas

Plataforma	Estado
Windows x64	✅ Soporte completo
macOS arm64	⏳ Planificado
Linux x64	⏳ Planificado

Herramientas (19)

Visión

Herramienta	Descripción
`take_screenshot`	Captura de pantalla de todo el escritorio con calidad configurable
`take_window_screenshot`	Captura de pantalla de una ventana específica (modo captura de pantalla o de ventana)
`read_screen_text`	OCR de toda la pantalla (Windows.Media.Ocr)
`read_region_text`	OCR de una región de pantalla con coordenadas precisas por palabra

Gestión de ventanas

Herramienta	Descripción
`list_windows`	Lista de ventanas con id, título, aplicación, posición, tamaño, minimizada, enfocada
`focus_window`	Traer una ventana al frente, restaurar si está minimizada

Entrada

Herramienta	Descripción
`mouse_click`	Clic (izquierdo / derecho / medio) en coordenadas de pantalla o relativas a la ventana
`mouse_move`	Mover el cursor a un punto
`mouse_drag`	Arrastrar desde el punto A al punto B
`mouse_scroll`	Desplazar la rueda del ratón
`keyboard_type`	Escribir texto (Unicode completo — latino, cirílico, CJK, emoji)
`keyboard_press`	Pulsar una tecla (Enter, Tab, F1–F12, flechas, etc.)
`keyboard_shortcut`	Combinaciones de teclas (Ctrl+S, Alt+F4, Ctrl+Shift+P, etc.)

Acceso estructurado a la UI

Herramienta	Descripción
`list_ui_elements`	Árbol de UI Automation — botones, campos, menús con coordenadas exactas

Búsqueda de archivos

Herramienta	Descripción
`search_in_files`	Buscar texto o expresiones regulares en archivos dentro de directorios permitidos (como Buscar en archivos de VS Code)
`find_files`	Encontrar archivos y directorios por patrón de nombre (glob), como "Ir a archivo"

Guía para agentes

Herramienta	Descripción
`get_usage_guide`	Guía de flujo de trabajo compacta para agentes LLM — clic de precisión, metadatos de coordenadas, consejos de calidad

Registro de sesión

Herramienta	Descripción
`enable_logging`	Iniciar grabación de llamadas a herramientas en JSONL + capturas de pantalla (optativo)
`disable_logging`	Detener grabación, obtener estadísticas de sesión

Instalación

Descargar el binario desde Releases.
Añadirlo a la configuración de tu cliente MCP. El ejemplo siguiente es para Claude Desktop — para otros clientes, consulta su documentación.

Claude Desktop: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "test-utils": {
      "command": "D:\\path\\to\\mcp-test-utils.exe"
    }
  }
}

Reiniciar Claude Desktop.
En el chat, intenta: "Toma una captura de pantalla" — el agente devolverá una imagen de tu escritorio.

Con registro y búsqueda de archivos (opcional)

{
  "mcpServers": {
    "test-utils": {
      "command": "D:\\path\\to\\mcp-test-utils.exe",
      "env": {
        "MCP_LOG_DIR": "D:\\path\\to\\logs",
        "MCP_LOG_MAX_MB": "500",
        "MCP_LOG_RETAIN_DAYS": "30",
        "MCP_SEARCH_DIRS": "D:\\Projects\\app1;D:\\Projects\\app2"
      }
    }
  }
}

Ajustes de calidad

Las capturas de pantalla admiten calidad configurable para equilibrar detalle y coste de tokens:

Ajuste	Escala	Formato	Caso de uso
`full`	100%	JPEG q90	Máximo detalle
`standard`	50%	JPEG q70	Equilibrado (por defecto)
`compact`	50%	PNG	Cuando se necesita PNG
`minimal`	25%	Escala de grises	Menor coste de tokens
`custom`	10–100%	JPEG / PNG / Gris	Control total

Variables de entorno

Variable	Descripción	Valor por defecto
`MCP_LOG_DIR`	Ruta para sesiones de registro. Sin ello, las herramientas de registro están ocultas	—
`MCP_LOG_MAX_MB`	Límite de tamaño de sesión (aviso al superarlo)	`500`
`MCP_LOG_RETAIN_DAYS`	Auto-eliminar sesiones mayores de N días. `0` para desactivar	`30`
`MCP_SEARCH_DIRS`	Directorios permitidos para `search_in_files` (`;` en Windows, `:` en macOS/Linux). Sin ello, la herramienta está oculta	—

Cómo funciona

MCP Test Utils es un servidor JSON-RPC 2.0 que se comunica por entrada/salida estándar. Cualquier cliente compatible con MCP lanza el binario, envía llamadas a herramientas y recibe respuestas estructuradas (texto, imágenes base64). Probado con Claude Desktop.

El servidor usa directamente las API nativas de Windows — Win32 GDI para capturas, SendInput para ratón y teclado, API COM de UI Automation para inspección de elementos, WinRT Windows.Media.Ocr para reconocimiento de texto. La búsqueda de archivos usa el motor ripgrep (grep-regex, grep-searcher, ignore) — multiplataforma, sin dependencias externas. Sin PowerShell, sin herramientas externas, sin acceso a red.

Casos de uso

QA automatizado — el agente navega por la aplicación, hace clic en los flujos, toma capturas de pantalla en cada paso, escribe un informe de prueba
Automatización de escritorio — rellenar formularios, copiar datos entre ventanas, ejecutar flujos de trabajo
Auditoría de accesibilidad — escanear el árbol de UI Automation para detectar etiquetas o roles faltantes
Regresión visual — comparación de capturas de pantalla entre versiones
Extracción de datos — OCR de texto desde aplicaciones que no exponen APIs
Búsqueda de código — encontrar patrones en múltiples proyectos sin salir de la sesión del agente

Seguridad

Responde solo a solicitudes del cliente MCP
No abre puertos de red
No escribe nada en disco (excepto registro opcional)
No envía datos externamente
Las capturas de pantalla capturan toda la pantalla — asegúrate de que no haya información sensible visible
La búsqueda de archivos está en sandbox — solo se puede acceder a directorios en MCP_SEARCH_DIRS

Apóyanos

Gratis y sin restricciones. Si te resulta útil — jeenyjai.github.io

Licencia

🚀 Creado con Claude