Open Computer Use

open-computer-use

[!TIP] Interessado em Browser Use? Confira open-browser-use.

---

open-computer-use é um serviço Computer Use de código aberto empacotado como MCP. Qualquer agente de IA ou cliente MCP pode usá-lo para executar Computer Use no macOS, Linux e Windows.

Este projeto foi inspirado no Codex Computer Use da OpenAI. Ele mostrou que um CUA não intrusivo pode ser construído sobre a Acessibilidade, então decidi construir uma versão de código aberto.

Comecei este repositório com meu modelo harness, um modelo para criar rapidamente projetos com prioridade em IA. Tem sido um de nossos fluxos de trabalho mais úteis recentemente, especialmente para projetos quase 100% gerados por IA. Também escrevi um artigo sobre a metodologia por trás disso.

Demonstrações

Codex App e Codex CLI

_{open-computer-use usado como Computer Use no Codex App e no Codex CLI, correspondendo à experiência oficial.}

Gemini CLI

https://github.com/user-attachments/assets/eacb3b15-f939-46c7-b3b3-6f876977a58d

_{A CLI Gemini se conecta ao open-computer-use via MCP e executa ações completas de Computer Use.}

Linux

https://github.com/user-attachments/assets/e036b1c8-2200-4896-abd4-19225915cf66

_{open-computer-use rodando no Linux.}

Início Rápido

npm i -g open-computer-use

O pacote npm também expõe ocu como alias CLI abreviado.

[!IMPORTANT] O runtime do macOS requer macOS 14.0 ou posterior.

No macOS, execute uma vez e conceda Accessibility e Screen Recording. Windows e Linux não precisam desta etapa.

open-computer-use
# or
ocu

Antes de usar, instale-o no seu agente:

# Install into Codex by writing to ~/.codex/config.toml
open-computer-use install-codex-mcp

Ou adicione-o manualmente ao seu próprio cliente:

{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}

Skill

Instale a skill diretamente:

# Install for Codex
npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y
npx skills ls -g -a codex | rg 'open-computer-use'

Instale para Claude Code:

npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y

Atualize uma instalação global existente, incluindo a instalação do Codex criada acima:

npx skills update open-computer-use -g -y

Você também pode baixar e instalar manualmente a skill open-computer-use.

Mais

Além da configuração JSON do MCP acima, você também pode usar os comandos integrados:

# Install into Codex by writing to ~/.codex/config.toml
open-computer-use install-codex-mcp
ocu install-codex-mcp

# Install as a Codex plugin, mainly for Codex App
open-computer-use install-codex-plugin

# Install into Claude Code by writing to ~/.claude.json
open-computer-use install-claude-mcp

# Install into Gemini CLI for the current project by writing to ./.gemini/settings.json
open-computer-use install-gemini-mcp

# Install into Gemini CLI user config instead
open-computer-use install-gemini-mcp --scope user

# Install into opencode by writing to ~/.config/opencode/opencode.json (or the active config file)
open-computer-use install-opencode-mcp

# Call a single Computer Use tool and print the MCP-style JSON result
open-computer-use call list_apps
ocu call list_apps
open-computer-use call get_app_state --args '{"app":"TextEdit"}'

# Run a sequence in one process so element_index state can be reused
# Sequence runs sleep 1s between successful operations by default
open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'
open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5

# Check permissions; onboarding only opens when something is missing
open-computer-use doctor

# Run local validation from a source checkout
make smoke
OPEN_COMPUTER_USE_STRESS_LOOPS=20 make stress
make agent-smoke
make agent-smoke SCENARIO=fixture-full
node ./scripts/run-agent-smoke-tests.mjs --agents=claude,codex --command=open-computer-use
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=claude,codex --command=open-computer-use
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=claude,codex --command=open-computer-use
OPEN_COMPUTER_USE_HERMES_PROVIDER=anthropic OPEN_COMPUTER_USE_HERMES_MODEL=claude-opus-4-20250514 make agent-smoke AGENTS=hermes SCENARIO=fixture-full
node ./scripts/run-agent-smoke-tests.mjs --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 --hermes-max-turns=12

# Show help
open-computer-use -h
ocu -h

Cursor Motion

Cursor Motion é um sistema de movimento de cursor de código aberto para macOS, baseado em informações públicas compartilhadas por membros da equipe do Software.Inc. Você pode baixar o aplicativo na página de Releases.

Histórico de Estrelas

Licença

MIT. Atribuições de terceiros são listadas em THIRD_PARTY_NOTICES.md.