EXTRA - Native Computer Use

---

✨ Por que Extra?

Os assistentes de IA de hoje podem escrever ensaios e códigos brilhantes, mas estão presos dentro de uma janela de chat. Quando você precisa que eles cliquem em um botão, abram um aplicativo, organizem seus arquivos ou insiram dados em uma planilha, eles só podem fornecer instruções de texto.

Extra dá à sua IA mãos e olhos no Windows.

Ele conecta Claude, Google Antigravity, Cursor, AGY ou qualquer agente autônomo diretamente ao seu desktop Windows com visão de tela de alta velocidade, cliques com precisão de pixel e digitação instantânea.

• Sem extensões de navegador complicadas.
• Sem servidores em nuvem caros observando sua tela.
• 100% open source, local e privado.

---

💡 O Que Você Pode Pedir à Sua IA Para Fazer

Com o Extra em execução, você pode conversar com sua IA como se fosse um assistente humano real sentado à sua mesa:

• 📊 Planilhas e Dados: "Abra o Excel, calcule a receita total dos CSVs de fatura na minha pasta Downloads e crie um gráfico de resumo."
• 🗂️ Limpeza de Desktop e Arquivos: "Limpe minha área de trabalho bagunçada movendo capturas de tela para Imagens, PDFs para Documentos e excluindo pastas vazias."
• 🌐 Pesquisa na Web e Entrada de Dados: "Abra o Chrome, encontre os 5 melhores voos para Tóquio abaixo de US$ 800 e copie os números dos voos e datas para o Bloco de Notas."
• ⚙️ Tarefas do Sistema Windows: "Abra as Configurações, verifique se há atualizações do Windows pendentes e me avise se uma reinicialização for necessária."
• 🎵 Controle de Aplicativos: "Abra o Spotify, pesquise batidas de foco lo-fi e comece a tocar."

---

⚡ Início Rápido (1 Minuto)

Você pode configurar o Extra em segundos no macOS ou Windows:

Opção A: Peça à Sua IA Para Configurá-lo (Fluxo Principal — Mais Fácil)

Copie e cole a diretiva única para seu sistema operacional no Claude Desktop, Google Antigravity, Cursor, Windsurf ou qualquer agente MCP:

• 🍏 Para macOS (Apple Silicon M1-M4 e Intel):

  Setup Extra on my Mac: In Terminal run 'curl -sSL https://extra.yantraos.com/install.sh | bash', then read and configure ~/.extra/app/STARTER_PROMPT_MACOS.md so we are ready to use Extra.
  

• 🪟 Para Windows (11 / 10):

  Setup Extra on my PC: In PowerShell run 'iwr -useb https://extra.yantraos.com/install.ps1 -OutFile "$env:TEMP\install_extra.ps1"; & "$env:TEMP\install_extra.ps1"', then read and configure ~/.extra/app/STARTER_PROMPT.md so we are ready to use Extra.
  

Sua IA executará o instalador, configurará o MCP e as regras locais e responderá:

"Estamos prontos! Por favor, reinicie o <your AI application, e.g. Claude Desktop, Antigravity, Cursor, Windsurf> para que funcione."

---

Opção B: Execute o Comando de Uma Linha Você Mesmo

• 🍏 Terminal macOS:

  curl -sSL https://extra.yantraos.com/install.sh | bash
  

• 🪟 PowerShell Windows (Encenado, Limpo para Defender):

  iwr -useb https://extra.yantraos.com/install.ps1 -OutFile "$env:TEMP\install_extra.ps1"; & "$env:TEMP\install_extra.ps1"
  

O instalador automatizado irá:

• Verificar a arquitetura do sistema operacional (macOS 12.3+ ou Windows 10/11 64 bits).
• Provisionar runtime Python 3.10+ isolado (~/.extra/venv).
• Configurar automaticamente Claude Desktop, Cursor, Windsurf e Antigravity (agy).
• Executar o diagnóstico de saúde e apresentar o prompt inicial de 1 etapa.

---

Opção C: Clone do Git para Desenvolvedores

# macOS:
git clone https://github.com/AIYantra/extra.git ~/.extra/app
cd ~/.extra/app && ./install.sh

# Windows:
git clone https://github.com/AIYantra/extra.git "$HOME\.extra\app"
cd "$HOME\.extra\app" ; .\install.ps1

---

Conectando a Qualquer IA Compatível com MCP

O Extra funciona perfeitamente com qualquer agente que suporte o Model Context Protocol (MCP). Se você usa Cursor, Windsurf ou agentes personalizados, adicione este trecho à sua configuração MCP:

{
  "mcpServers": {
    "extra": {
      "command": "python",
      "args": ["-m", "extra.mcp.server"]
    }
  }
}

---

🎯 Como Funciona por Baixo dos Panos

O Extra é projetado desde o início para velocidade, confiabilidade e eficiência de tokens:

1. 👁️ Captura de Tela Ultra-Rápida (< 3ms): Usa a Duplicação de Desktop DirectX nativa (DXGI) para capturar quadros de desktop cristalinos em menos de 3 milissegundos—sem atrasar seu PC ou desfocar texto.
2. 🎯 Cliques com Precisão de Pixel: Em vez de adivinhar coordenadas a partir de capturas de tela borradas, o Extra consulta a árvore de acessibilidade nativa do Windows (UI Automation) para clicar no botão, menu ou campo de texto exato com 100% de precisão matemática.
3. ⚡ Digitação Instantânea: Digita 500 caracteres em menos de 5 milissegundos via injeção Unicode nativa Win32—com zero letras perdidas e suporte total a emojis e idiomas internacionais.
4. 🛑 Proteção Contra Loop Infinito: Se um aplicativo congelar ou um clique não produzir resultado visual, o Extra detecta imediatamente e para com segurança em vez de queimar seus tokens em um loop infinito.
5. 🔒 100% Local e Privado: O Extra é executado completamente na sua máquina. Zero capturas de tela, teclas digitadas ou telemetria são enviadas a qualquer servidor em nuvem.

---

📊 Comparação de Desempenho

Métrica / Capacidade	Scripts Legados (PyAutoGUI)	Modelos de Visão em Nuvem	Mecanismo Extra
Velocidade de Captura de Tela	150 – 300 ms	80 – 150 ms	1.8 – 3.2 ms (DirectX DXGI)
Velocidade de Digitação (100 caracteres)	2.5 – 5.0 segundos	1.0 – 2.0 segundos	< 0.005 segundos (Win32 Instantâneo)
Precisão de Clique	~60% (falha em escala de exibição)	~82% (adivinhação por visão)	99.4% (UIA nativo do Windows)
Suporte a DPI Multi-Monitor	Quebrado em escalas de 125%/150%	Requer ajuste manual	Automático (PerMonitorV2)
Custo de Tokens de IA	Alto (captura de tela completa a cada etapa)	Alto (payload de visão completo)	70% Menor (árvore de elementos inteligente)
Prevenção de Travamento	Nenhuma (fica preso para sempre)	Timeout básico	Detecção inteligente de delta visual

---

🛠️ Ferramentas Incluídas (Suíte MCP)

Quando conectado ao Extra, seu assistente de IA recebe estas ferramentas nativas:

Nome da Ferramenta	O Que Ela Faz
extra_launch	Abre qualquer aplicativo, utilitário ou URL do Windows diretamente (calc, notepad, settings, chrome)
extra_inspect_ui	Escaneia todos os botões, entradas, abas e menus visíveis na sua tela
extra_click_element	Clica deterministicamente em qualquer elemento pelo seu ID, nome ou caixa delimitadora
extra_screenshot	Captura quadros de desktop em alta resolução com selos visuais opcionais Set-of-Mark
extra_click	Move o mouse, cliques esquerdo/direito e duplos cliques com precisão de DPI sub-pixel
extra_type	Injeta texto instantaneamente com zero atraso, suporte total a emojis e colagem atômica
extra_hotkey	Envia atalhos de teclado (Ctrl+C, Win+E, Alt+Tab, Enter)
extra_scroll	Rola suavemente as rodas para cima, baixo, esquerda ou direita
extra_drag	Arrasta e solta arquivos, janelas ou controles deslizantes entre coordenadas
extra_browser	Extrai diretamente o conteúdo DOM de páginas web no Edge/Chrome sem tirar capturas de tela
extra_focus_window	Traz qualquer janela de aplicativo imediatamente para a frente
extra_task_start	Sinaliza execução de tarefa autônoma; ativa pulso de borda de tela ambiente e halo de cursor
extra_task_complete	Sinaliza conclusão de tarefa; pisca borda verde esmeralda, toca som de confirmação e dissolve indicadores
extra_indicate_status	Controle programático direto sobre indicadores de desktop ativos, completos e ociosos

---

🏛️ Estrutura do Repositório

extra/
├── assets/                 # Brand logos and banners
├── core/                   # Core Windows Automation Engine
│   ├── capture.py          # Sub-3ms screen capture (DXGI & MSS)
│   ├── geometry.py         # PerMonitorV2 DPI scaling & display normalization
│   ├── indicators.py       # Ambient screen edge pulse, cursor halo, and harmonic audio chime
│   ├── input_engine.py     # Win32 SendInput Unicode & atomic clipboard injection
│   ├── focus.py            # AttachThreadInput window focus forcing
│   ├── uia_plane.py        # Windows UI Automation v3 COM client
│   └── stall_breaker.py    # Closed-loop perceptual diffing & safety killswitch
├── fastpath/               # High-speed deterministic execution
│   ├── shell.py            # Win32 ShellExecuteEx direct app launcher
│   └── browser.py          # Playwright / Edge CDP DOM bridge
├── mcp/                    # Anthropic Model Context Protocol
│   └── server.py           # Standard JSON-RPC stdio/SSE server
├── cli.py                  # CLI runner (extra doctor, test, indicators, run, inspect, snap)
├── install.ps1             # 1-line PowerShell installer
├── pyproject.toml          # Package metadata and build configuration
├── requirements.txt        # Enterprise-audited dependency manifest
├── STARTER_PROMPT.md       # Master AI system prompt & setup directive
├── ARCHITECTURE.md         # Full System Architecture Specification
└── test_core_engine.py     # End-to-end integration test suite

---

🛡️ Confiança e Segurança Empresarial

• Zero Blobs Binários Não Verificados: Sem arquivos .dll ou .pyd compilados misteriosos de mantenedores solo.
• Padrões Microsoft e Anthropic: Construído exclusivamente com chamadas de sistema Microsoft (ctypes), o SDK oficial mcp da Anthropic e pacotes PSF.
• Proteção Fail-Safe: Inclui uma saída de emergência no canto da tela em (0, 0) e uma tecla de pânico global (Ctrl+Alt+Shift+Q).

---

🌌 Parte do Ecossistema Soberano yantraOS

Extra é a ponte Windows para yantraOS, o sistema operacional soberano Arch Linux projetado para computação autônoma.

Se você quer autonomia de IA em hardware puro com zero telemetria do sistema operacional, agendamento de kernel de sub-microssegundos e controle de hardware Wayland nativo, explore yantraos.com.

---

🤝 Contribuindo

Aceitamos contribuições de hackers de kernel, pesquisadores de automação e desenvolvedores de IA!
Por favor, consulte nosso Guia de Contribuição e Código de Conduta.

Para relatar vulnerabilidades, revise nossa Política de Segurança.

---

📜 Licença

Distribuído sob a Licença MIT. Consulte LICENSE para detalhes.
Copyright (c) 2026 Euryale Ferox Private Limited.