ScreenHand

O Problema

Assistentes de IA podem escrever código, mas não sabem usar seu computador. Cada clique exige uma captura de tela → interpretação do LLM → palpite de coordenadas — 3-5 segundos e uma chamada de API por ação.

O ScreenHand dá à IA acesso direto às APIs nativas do sistema operacional. Sem capturas de tela para cliques. Sem chamadas de IA para pressionar botões.

Início Rápido

1. Adicione ao seu cliente de IA (um passo)

claude mcp add screenhand -- npx -y screenhand

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

{
  "mcpServers": {
    "screenhand": {
      "command": "npx",
      "args": ["-y", "screenhand"]
    }
  }
}

[mcp.screenhand]
command = "npx"
args = ["-y", "screenhand"]
transport = "stdio"

2. Conceda permissões

macOS: Ajustes do Sistema > Privacidade e Segurança > Acessibilidade > ative seu aplicativo de terminal.

Windows: Nenhuma permissão especial necessária.

3. Controle do navegador (opcional)

Inicie o Chrome com depuração remota para habilitar as ferramentas de navegador:

open -a "Google Chrome" --args --remote-debugging-port=9222

Pronto. Seu cliente de IA agora tem 111 ferramentas para automação de desktop — e já vem com conhecimento prévio para 36 apps, para você não começar do zero.

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native

Conhecimento de Plataforma Pré-construído

Toda instalação vem com conhecimento testado em campo para que a IA comece no nível ESPECIALISTA desde o primeiro dia — sem necessidade de re-exploração:

Eles carregam automaticamente quando o app ou site correspondente é detectado. Nenhuma configuração necessária.

Verifique após a instalação:

npx screenhand --info

O Que Ele Faz

O ScreenHand dá aos agentes de IA oito capacidades:

Controle de Desktop — 19 ferramentas

Clique em botões, digite texto, leia árvores de UI, navegue em menus, arraste, role — tudo via APIs nativas de Acessibilidade em ~50ms. Funciona com qualquer app: Finder, Notas, VS Code, Xcode, Ajustes do Sistema, etc.

Automação de Navegador — 15 ferramentas

Controle total do Chrome via DevTools Protocol. Navegue, clique, digite, execute JavaScript, preencha formulários — tudo em segundo plano a ~10ms. Anti-detecção integrada (browser_stealth, browser_human_click) para sites com proteção contra bots.

Fallbacks Inteligentes — 8 ferramentas

click_with_fallback, type_with_fallback, etc. tentam automaticamente Acessibilidade → CDP → OCR → coordenadas. Você não precisa escolher o método certo — o ScreenHand descobre sozinho.

Memória e Aprendizado — 14 ferramentas

Fica mais inteligente a cada sessão. Registra chamadas de ferramentas, salva estratégias vencedoras, rastreia padrões de erro com correções. Zero configuração, zero sobrecarga de latência (cache em memória, gravações em disco assíncronas). Vem com 12 estratégias iniciais para fluxos de trabalho comuns no macOS. 6 políticas de aprendizado: estabilidade de localizador, eficácia de sensores, classificação de recuperação, reconhecimento de padrões, temporização adaptativa e topologia (confiabilidade de bordas de navegação).

Mapa de Maestria de Apps — compreensão espacial automática por app

Constrói um blueprint reverso persistente de cada app a partir do uso normal das ferramentas. 8 recursos são registrados automaticamente: zonas de página, grafo de navegação (pathfinding BFS), hierarquia, contratos de I/O, máquina de estados, visibilidade de elementos, perfis de temporização e sinais de prontidão. Níveis de maestria (iniciante → profissional → especialista → mestre) refletem honestamente o quão bem o ScreenHand conhece cada app. Mapas armazenados em ~/.screenhand/app-maps/.

Descoberta de Recursos de Sites — recursos reais, não escadas genéricas

discover_features busca o site oficial de um app e extrai recursos reais do produto (cabeçalhos, cards de recursos, listas de definição). Atribui níveis de dificuldade automaticamente e gera recursos de valor agregado que só o ScreenHand pode fornecer: operações em lote, exportação entre apps, resumo de conteúdo, organização automática e monitoramento de mudanças. Nenhuma chamada de LLM necessária — extração puramente baseada em regras. Os recursos são mesclados ao arquivo de referência e enriquecem a escada de maestria.

Jobs e Orquestração — 34 ferramentas

Enfileire jobs de múltiplas etapas, execute-os via daemon de worker em segundo plano, coordene múltiplos agentes de IA com leases de sessão, detecte travamentos, recupere automaticamente. Sobrevive a reinicializações do cliente.

Percepção e Planejamento — 17 ferramentas

Consciência contínua da tela (loop de percepção de 3 taxas a 100ms/300ms/1000ms), modelo de mundo em tempo real com rastreamento de entidades, planejamento orientado a objetivos com decomposição automática, mecanismo de recuperação com autocorreção. O sistema sempre sabe o que está na tela e alimenta observações no Mapa de Maestria de Apps.

Referência completa: Veja todas as 111 ferramentas com descrições.

Exemplo

Navegador — Claude controla o Chrome em segundo plano enquanto você trabalha:

You: Search for "screenhand" on Instagram

→ browser_tabs()                                        # ~10ms
  [34DF5DE1] Instagram — https://www.instagram.com/

→ browser_js({ code: "/* click Search icon */" })       # ~10ms
→ browser_fill_form({ selector: "input", text: "screenhand" })  # ~50ms (human-like)
→ browser_js({ code: "/* extract results */" })         # ~10ms

Found @screenhand_ as the top result.

Desktop — controle de apps nativos sem capturas de tela:

→ apps()                     # List running apps           ~10ms
→ focus("com.apple.Notes")   # Bring Notes to front        ~10ms
→ ui_tree()                  # Read full UI element tree    ~50ms
→ ui_press("New Note")       # Click "New Note" button     ~50ms
→ type_text("Hello world")   # Type text                   ~30ms

Entre apps — encadeie ações em todo o seu desktop:

→ browser_js(...)            # Extract data from Chrome
→ focus("com.apple.Notes")   # Switch to Notes
→ type_text(extractedData)   # Paste it in
→ key("cmd+s")               # Save

Plugin para Claude Code

Se você usa Claude Code, o ScreenHand inclui um plugin com 13 habilidades e 5 agentes que envolvem todas as 111 ferramentas em fluxos de trabalho orientados a intenção.

./install-plugin.sh   # after npm install && npm run build:native

5 agentes especializados: marketing, design, QA, scraper, orquestrador.

Como Funciona

AI Client (Claude, Cursor, Codex CLI)
    ↓ MCP protocol (stdio)
ScreenHand MCP Server (TypeScript)
    ↓ JSON-RPC (stdio)
Native Bridge (Swift on macOS / C# on Windows)
    ↓ OS APIs
Accessibility, CoreGraphics, Vision, UI Automation, SendInput

O ScreenHand lê a árvore de UI e o DOM diretamente — sem capturas de tela para a maioria das operações. Quando capturas de tela são necessárias (apps baseados em canvas, verificação visual), o OCR roda em ~600ms via framework nativo Vision.

Requisitos

Documentação

FAQ

Contribuindo

git clone https://github.com/manushi4/screenhand.git
cd screenhand && npm install && npm run build:native
npm test   # 1331 tests, 54 files

Contato

• E-mail: khushi@clazro.com
• Issues: github.com/manushi4/screenhand/issues
• Site: screenhand.com

Licença

AGPL-3.0-only — Copyright (C) 2025-2026 Clazro Technology Private Limited