ScreenHand

El problema

Los asistentes de IA pueden escribir código, pero no pueden usar tu computadora. Cada clic requiere una captura de pantalla → interpretación del LLM → cálculo de coordenadas — de 3 a 5 segundos y una llamada a la API por acción.

ScreenHand le da a la IA acceso directo a las API nativas del sistema operativo. No se necesitan capturas de pantalla para los clics. No se necesitan llamadas de IA para presionar botones.

Inicio rápido

1. Añádelo a tu cliente de IA (un solo paso)

claude mcp add screenhand -- npx -y screenhand

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

[mcp.screenhand]
command = "npx"
args = ["-y", "screenhand"]
transport = "stdio"

2. Otorga permisos

macOS: Configuración del sistema > Privacidad y seguridad > Accesibilidad > habilita tu aplicación de terminal.

Windows: No se necesitan permisos especiales.

3. Control del navegador (opcional)

Inicia Chrome con depuración remota para habilitar las herramientas del navegador:

open -a "Google Chrome" --args --remote-debugging-port=9222

Eso es todo. Tu cliente de IA ahora tiene 111 herramientas para automatización de escritorio, y viene con conocimiento preconstruido para 36 aplicaciones para que no empieces desde cero.

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native

Conocimiento de plataforma preconstruido

Cada instalación incluye conocimiento probado en batalla para que la IA comience en nivel EXPERTO desde el primer día, sin necesidad de reexplorar:

Estos se cargan automáticamente cuando se detecta la aplicación o el sitio web correspondiente. No se requiere configuración.

Verifica después de instalar:

npx screenhand --info

Qué hace

ScreenHand le da a los agentes de IA ocho capacidades:

Control de escritorio — 19 herramientas

Haz clic en botones, escribe texto, lee árboles de interfaz, navega menús, arrastra, desplázate: todo mediante API de accesibilidad nativas en ~50 ms. Funciona con cualquier aplicación: Finder, Notes, VS Code, Xcode, Configuración del sistema, etc.

Automatización del navegador — 15 herramientas

Control total de Chrome mediante el Protocolo de DevTools. Navega, haz clic, escribe, ejecuta JavaScript, completa formularios: todo en segundo plano a ~10 ms. Antidetección integrada (browser_stealth, browser_human_click) para sitios con protección contra bots.

Alternativas inteligentes — 8 herramientas

click_with_fallback, type_with_fallback, etc. prueban automáticamente Accesibilidad → CDP → OCR → coordenadas. No tienes que elegir el método correcto: ScreenHand lo resuelve.

Memoria y aprendizaje — 14 herramientas

Se vuelve más inteligente en cada sesión. Registra llamadas de herramientas, guarda estrategias ganadoras, rastrea patrones de errores con correcciones. Cero configuración, cero sobrecarga de latencia (caché en memoria, escrituras asíncronas en disco). Incluye 12 estrategias iniciales para flujos de trabajo comunes de macOS. 6 políticas de aprendizaje: estabilidad de localizadores, efectividad de sensores, clasificación de recuperación, reconocimiento de patrones, temporización adaptativa y topología (confiabilidad de bordes de navegación).

Mapa de dominio de aplicaciones — comprensión espacial automática por aplicación

Construye un plano persistente de ingeniería inversa de cada aplicación a partir del uso normal de herramientas. 8 características se registran automáticamente: zonas de página, grafo de navegación (búsqueda de rutas BFS), jerarquía, contratos de entrada/salida, máquina de estados, visibilidad de elementos, perfiles de temporización y señales de preparación. Los niveles de dominio (principiante → profesional → experto → gran maestro) reflejan honestamente qué tan bien conoce ScreenHand cada aplicación. Los mapas se almacenan en ~/.screenhand/app-maps/.

Descubrimiento de funciones de sitios web — funciones reales, no escaleras genéricas

discover_features obtiene el sitio web oficial de una aplicación y extrae las funciones reales del producto (encabezados, tarjetas de funciones, listas de definiciones). Asigna niveles de dificultad automáticamente y genera funciones de valor agregado que solo ScreenHand puede proporcionar: operaciones masivas, exportación entre aplicaciones, resumen de contenido, organización automática y monitoreo de cambios. No se necesitan llamadas al LLM: extracción puramente basada en reglas. Las funciones se fusionan en el archivo de referencia y enriquecen la escalera de dominio.

Trabajos y orquestación — 34 herramientas

Pon en cola trabajos de varios pasos, ejecútalos mediante un demonio de trabajador en segundo plano, coordina múltiples agentes de IA con concesiones de sesión, detecta bloqueos y recupera automáticamente. Sobrevive a reinicios del cliente.

Percepción y planificación — 17 herramientas

Conciencia continua de la pantalla (bucle de percepción de 3 velocidades a 100 ms/300 ms/1000 ms), modelo del mundo en tiempo real con seguimiento de entidades, planificación orientada a objetivos con descomposición automática, motor de recuperación con autocuración. El sistema siempre sabe qué hay en pantalla y alimenta las observaciones al Mapa de dominio de aplicaciones.

Referencia completa: consulta las 111 herramientas con descripciones.

Ejemplo

Navegador — Claude controla Chrome en segundo plano mientras trabajas:

You: Search for "screenhand" on Instagram

→ browser_tabs()                                        # ~10ms
  [34DF5DE1] Instagram — https://www.instagram.com/

→ browser_js({ code: "/* click Search icon */" })       # ~10ms
→ browser_fill_form({ selector: "input", text: "screenhand" })  # ~50ms (human-like)
→ browser_js({ code: "/* extract results */" })         # ~10ms

Found @screenhand_ as the top result.

Escritorio — control de aplicaciones nativas sin capturas de pantalla:

→ apps()                     # List running apps           ~10ms
→ focus("com.apple.Notes")   # Bring Notes to front        ~10ms
→ ui_tree()                  # Read full UI element tree    ~50ms
→ ui_press("New Note")       # Click "New Note" button     ~50ms
→ type_text("Hello world")   # Type text                   ~30ms

Entre aplicaciones — encadena acciones en todo tu escritorio:

→ browser_js(...)            # Extract data from Chrome
→ focus("com.apple.Notes")   # Switch to Notes
→ type_text(extractedData)   # Paste it in
→ key("cmd+s")               # Save

Complemento para Claude Code

Si usas Claude Code, ScreenHand incluye un complemento con 13 habilidades y 5 agentes que envuelven las 111 herramientas en flujos de trabajo orientados a intenciones.

./install-plugin.sh   # after npm install && npm run build:native

5 agentes especializados: marketing, diseño, QA, scraper, orquestador.

Cómo funciona

AI Client (Claude, Cursor, Codex CLI)
    ↓ MCP protocol (stdio)
ScreenHand MCP Server (TypeScript)
    ↓ JSON-RPC (stdio)
Native Bridge (Swift on macOS / C# on Windows)
    ↓ OS APIs
Accessibility, CoreGraphics, Vision, UI Automation, SendInput

ScreenHand lee el árbol de interfaz y el DOM directamente: no se necesitan capturas de pantalla para la mayoría de las operaciones. Cuando se necesitan capturas (aplicaciones de lienzo, verificación visual), el OCR se ejecuta en ~600 ms mediante el framework nativo Vision.

Requisitos

Documentación

Preguntas frecuentes

Contribuciones

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native
npm test   # 1331 tests, 54 files

Contacto

• Correo electrónico: khushi@clazro.com
• Problemas: github.com/manushi4/screenhand/issues
• Sitio web: screenhand.com

Licencia

AGPL-3.0-only — Copyright (C) 2025-2026 Clazro Technology Private Limited