Open Computer Use

open-computer-use

[!TIP] Interessado em Browser Use? Confira open-browser-use.

---

open-computer-use é um serviço Computer Use de código aberto empacotado como MCP. Qualquer agente de IA ou cliente MCP pode usá-lo para executar Computer Use no macOS, Linux e Windows.

Este projeto foi inspirado no Codex Computer Use da OpenAI. Ele mostrou que CUA não intrusivo pode ser construído sobre acessibilidade, então decidi criar uma versão de código aberto.

Comecei este repositório com meu harness template, um modelo para criar rapidamente projetos voltados para IA. Tem sido um dos nossos fluxos de trabalho mais úteis recentemente, especialmente para projetos quase 100% gerados por IA. Também escrevi um post sobre a metodologia por trás disso.

Demonstrações

Codex App e Codex CLI

_{open-computer-use usado como Computer Use no Codex App e Codex CLI, correspondendo à experiência oficial.}

Gemini CLI

https://github.com/user-attachments/assets/eacb3b15-f939-46c7-b3b3-6f876977a58d

_{O Gemini CLI conecta-se ao open-computer-use via MCP e executa ações completas de Computer Use.}

Linux

https://github.com/user-attachments/assets/e036b1c8-2200-4896-abd4-19225915cf66

_{open-computer-use rodando no Linux.}

Início Rápido

npm i -g open-computer-use

O pacote npm também expõe ocu como alias curto da CLI.

[!IMPORTANT] O runtime do macOS requer macOS 14.0 ou posterior.

No macOS, execute uma vez e conceda Accessibility e Screen Recording. Windows e Linux não precisam desta etapa.

open-computer-use
# or
ocu

Antes de usá-lo, instale-o no seu agente:

# Install into Codex by writing to ~/.codex/config.toml
open-computer-use install-codex-mcp

Ou adicione-o manualmente ao seu próprio cliente:

{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}

Skill

Instale a skill diretamente:

# Install for Codex
npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y
npx skills ls -g -a codex | rg 'open-computer-use'

Instale para Claude Code:

npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y

Atualize uma instalação global existente, incluindo a instalação do Codex criada acima:

npx skills update open-computer-use -g -y

Você também pode baixar e instalar manualmente a skill open-computer-use.

Mais

Além da configuração JSON do MCP acima, você também pode usar os comandos integrados:

# Install into Codex by writing to ~/.codex/config.toml
open-computer-use install-codex-mcp
ocu install-codex-mcp

# Install as a Codex plugin, mainly for Codex App
open-computer-use install-codex-plugin

# Install into Claude Code by writing to ~/.claude.json
open-computer-use install-claude-mcp

# Install into Gemini CLI for the current project by writing to ./.gemini/settings.json
open-computer-use install-gemini-mcp

# Install into Gemini CLI user config instead
open-computer-use install-gemini-mcp --scope user

# Install into opencode by writing to ~/.config/opencode/opencode.json (or the active config file)
open-computer-use install-opencode-mcp

# Install through DeepSeek Harness's generic MCP compatibility path:
# verifies the server, then writes a profile patch, turn-boundary hook, and skill
open-computer-use install-dsh-mcp
./scripts/install-dsh-mcp.sh --profile web --no-hook

# Call a single Computer Use tool and print the MCP-style JSON result
open-computer-use call list_apps
ocu call list_apps
open-computer-use call get_app_state --args '{"app":"TextEdit"}'

# Inspect code-first runtime availability
ocu capabilities
ocu capabilities --json

# Run one JavaScript evaluation, from an argument, stdin, or a file
ocu js 'var apps = await cua.listApps({ emit: false }); nodeRepl.write(apps)'
printf '%s' 'nodeRepl.write(6 * 7)' | ocu js -
ocu js --file ./automation.mjs

# Keep JavaScript and cua bindings for the current terminal session
ocu repl

# Run a sequence in one process so element_index state can be reused
# Sequence runs sleep 1s between successful operations by default
open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'
open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5

# Check permissions; onboarding only opens when something is missing
open-computer-use doctor

# Run local validation from a source checkout
make smoke
OPEN_COMPUTER_USE_STRESS_LOOPS=20 make stress
make agent-smoke
make agent-smoke SCENARIO=fixture-full
node ./scripts/run-agent-smoke-tests.mjs --agents=claude,codex --command=open-computer-use
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=claude,codex --command=open-computer-use
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=claude,codex --command=open-computer-use
OPEN_COMPUTER_USE_HERMES_PROVIDER=anthropic OPEN_COMPUTER_USE_HERMES_MODEL=claude-opus-4-20250514 make agent-smoke AGENTS=hermes SCENARIO=fixture-full
node ./scripts/run-agent-smoke-tests.mjs --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514
node ./scripts/run-agent-smoke-tests.mjs --scenario=fixture-full --agents=hermes --hermes-provider=anthropic --hermes-model=claude-opus-4-20250514 --hermes-max-turns=12

# Show help
open-computer-use -h
ocu -h

ocu js fecha seu JavaScript Worker e o filho nativo do MCP após uma avaliação. ocu repl os mantém para a sessão atual do terminal até .exit, Ctrl-D ou encerramento; .reset limpa seus vínculos. No macOS, o agente de permissão oculto separado Open Computer Use.app pode permanecer residente para que comandos posteriores reutilizem a mesma identidade de permissão. ocu mcp continua expondo a superfície de compatibilidade nativa de nove ferramentas.

O launcher npm atualmente requer Node.js 18 ou superior. Sua ajuda sempre lista js / repl, enquanto ocu capabilities --json informa se Node, o adaptador/kernel REPL e o runtime nativo estão disponíveis. Uma vez iniciado, ele reutiliza o executável Node atual em vez de procurar outro node no PATH.

Cursor Motion

Cursor Motion é um sistema de movimento de cursor de código aberto para macOS, baseado em informações públicas compartilhadas por membros da equipe da Software.Inc. Você pode baixar o aplicativo na página de Releases.

Histórico de Estrelas

Licença

MIT.