Argus Testing

Argus

Um servidor MCP que testa aplicativos como um engenheiro de testes de verdade—explorando jornadas de usuário, descobrindo bugs não roteirizados e provando cada achado antes de reportá-lo.

Argus é um servidor MCP. Ele adiciona QA de navegador com foco em evidências ao Claude Code, Codex, Cursor ou qualquer host MCP, sem assumir a identidade do agente host ou a tarefa de codificação mais ampla. O agente explora, inspeciona, verifica persistência e registra bugs reproduzíveis. Cada achado certificado é reconfirmado de forma independente a partir de um carregamento limpo da página antes de ser reportado.

Product page · Quick start · Why Argus · Compared · Tools · Benchmarks

A saída

Dê uma URL; receba um relatório de bugs — cada um marcado se o Argus reproduziu independentemente ou apenas observou:

O selo verde é o ponto principal. Qualquer um pode fazer um LLM afirmar um bug. O Argus recarrega a página do zero e re-verifica o sintoma antes de dizer VERIFICADO — então o relatório é uma lista de bugs em que você pode confiar, não uma lista de suposições para triagem.

Como funciona

flowchart LR
    A(["observe"]) --> B{"looks wrong?"}
    B -->|not sure| C["act: click · type · resize · verify"]
    C --> A
    B -->|bug| D["verify_persistence — reload from a clean state"]
    D -->|symptom repeats| E(["VERIFIED"])
    D -->|symptom gone| F(["dropped — no false positive"])
    E --> G[["report: HTML · JSON · JUnit · SARIF"]]

O agente é a inteligência. O Argus fornece orientação concisa de QA, uma superfície de ferramentas baseada em descrições (click_what("Login button"), não click(7)), um registro de cobertura de metas e um mecanismo de recibo de reprodução que transforma "o modelo acha que isso é um bug" em "este bug é real, aqui está a prova".

Início rápido

Com o uv instalado, não é necessária a instalação de pacote Python global. Instale o Chromium uma vez:

uvx --from playwright playwright install chromium

Depois conecte o Argus ao seu cliente MCP.

Claude Code

claude mcp add argus -- uvx --from argus-testing argus-mcp

Codex e o aplicativo de desktop do ChatGPT

Codex CLI, a extensão Codex IDE e o aplicativo de desktop do ChatGPT compartilham a mesma configuração MCP local:

codex mcp add argus -- uvx --from argus-testing argus-mcp

Cursor

O botão adiciona o Argus ao Cursor; execute o comando de instalação do Chromium acima uma vez antes do primeiro teste.

Qualquer cliente MCP stdio

{
  "mcpServers": {
    "argus": {
      "command": "uvx",
      "args": ["--from", "argus-testing", "argus-mcp"]
    }
  }
}

O perfil padrão core expõe o fluxo de trabalho principal de teste web sem inundar o host com todas as ferramentas especializadas. Use uvx --from argus-testing argus-mcp --list-tools para inspecionar o perfil selecionado, --tool-profile screen para testes nativos no macOS, ou --tool-profile full para toda a superfície avançada. ARGUS_TOOL_PROFILE fornece a mesma configuração através do ambiente.

Então basta perguntar, na sua sessão de agente:

"Teste meu aplicativo em http://localhost:3000 — encontre bugs reais."

É isso. O agente dirige; o Argus o mantém honesto e escreve o relatório.

Para uma revisão escopada, o host pode dar ao start_session explícitos goals, constraints e um time_budget_minutes consultivo. O Argus retorna o protocolo de teste completo uma vez e mantém metas pendentes e páginas descobertas visíveis em observações posteriores. Marque uma meta in_progress antes de sua jornada; quando coverage_update a marca como exercised ou blocked, o Argus exige uma explicação concreta e vincula automaticamente as URLs, ações com valores redigidos, capturas de tela, verificações de persistência, bugs e observações produzidas nessa janela de teste. Os relatórios finais em HTML e JSON preservam tanto a cobertura concluída quanto a incompleta, em vez de sugerir que uma passagem incompleta foi abrangente.

pip install argus-testing
playwright install chromium
claude mcp add argus -- argus-mcp

# Uses a LiteLLM-backed planner. Set a provider key (OPENAI_API_KEY, DEEPSEEK_API_KEY, …).
uvx --from argus-testing argus http://localhost:3000 --model deepseek/deepseek-chat

# Higher recall: union N independent passes (deduped, proven instance kept)
uvx --from argus-testing argus http://localhost:3000 --passes 3

pip install 'argus-testing[mac]'
brew install cliclick          # keystroke / coordinate fallback
argus-mcp --doctor             # check Screen Recording + Accessibility grants
claude mcp add argus-screen -- argus-mcp --tool-profile screen

Limites de artefatos e recursos

O Argus grava as capturas de tela de cada execução em seu próprio diretório de execução para que testes posteriores não possam sobrescrever evidências anteriores. Sessões longas de navegador também mantêm logs de eventos em memória limitados e só leem corpos de resposta para tráfego de API inspecionável; corpos binários e superdimensionados são ignorados antes de entrar na memória do Python.

A limpeza de relatórios é explícita e com dry-run por padrão. As 20 execuções completas mais recentes são protegidas neste exemplo; .argus diários e cápsulas de estado nunca são excluídos:

argus-cleanup --output ./argus-reports --keep-runs 20
argus-cleanup --output ./argus-reports --keep-runs 20 --apply

Use --older-than-days e --max-size-mb para políticas mais rígidas. Limites avançados podem ser ajustados com ARGUS_MAX_NETWORK_EVENTS, ARGUS_MAX_ERROR_EVENTS, ARGUS_MAX_DOWNLOAD_EVENTS, ARGUS_MAX_DIALOG_EVENTS, ARGUS_MAX_RESPONSE_BODY_BYTES e ARGUS_MAX_RESPONSE_READ_BYTES. Respostas sem comprimento declarado são ignoradas por padrão; ARGUS_CAPTURE_UNKNOWN_LENGTH_BODY=1 opta por lê-las. Quando um limite descarta evidências antigas, o Argus informa isso na saída da ferramenta e no resumo final da sessão.

Por que o Argus é diferente

As ferramentas de teste existentes só testam o que você roteiriza. Playwright e Cypress executam as asserções que você escreveu. O Argus descobre bugs que você não pensou em testar — e depois faz o que um LLM sozinho não pode ser confiável para fazer: prova-os.

Como se compara

No eixo que importa para encontrar bugs — descobrir autonomamente, verificar independentemente e reportar — o Argus ocupa um espaço diferente da multidão de browser-MCP:

Essas não são ferramentas "piores" — são um trabalho diferente. O Playwright MCP dá ao agente excelentes mãos; o Chrome DevTools MCP dá a ele inspeção profunda de rede/desempenho/memória que o Argus não tem. O Argus é a camada que decide o que é um bug e o prova. Use-os juntos.

Benchmarks

$ python -m argus.bench --target all

  buggytasks    22 / 22  = 100 %   ·  mechanical bugs (console errors, fake delete, auth bypass…)
  darkshop      12 / 12  = 100 %   ·  human-eye bugs (fake scarcity, lying toasts, stale state…)
  ──────────────────────────────────────────────────────────────────────
  total         34 / 34  = 100 %   ·  reproducible from git clone in two commands

34 / 34 é o teto de capacidade — o que é encontrável através da superfície da ferramenta, medido por scripts determinísticos. É deliberadamente separado de com que frequência um dado LLM se lembra de usar bem as ferramentas, que é ruidoso e honestamente reportado abaixo.

python test-site/app.py           # BuggyTasks  :5555
python human-eye-fixture/app.py   # DarkShop    :5556
python -m argus.bench --target all

Superfície de ferramentas

argus-mcp começa com o perfil web focado core. Cada ferramenta pública é documentada abaixo. As contagens também estão disponíveis diretamente do servidor instalado:

uvx --from argus-testing argus-mcp --list-tools
uvx --from argus-testing argus-mcp --tool-profile screen --list-tools
uvx --from argus-testing argus-mcp --tool-profile full --list-tools

Os relatórios mantêm as capturas de tela originais como evidência e, por padrão, gravam pré-visualizações WebP compactas em report-assets/ em vez de incorporar cada PNG em tamanho real em base64 no HTML. Defina ARGUS_PORTABLE_REPORT=1 quando um único arquivo HTML autocontido for mais importante que o tamanho. A saída JSON inclui recibos completos de reprodução, o contrato de cobertura e suas referências estruturadas de evidência, restrições, modo de revisão, contagens de chamadas de ferramenta e etapas registradas, metadados de captura de tela e observações qualitativas. Os totais de falhas do conjunto JUnit correspondem aos nós <failure> emitidos.

uvx --from argus-testing argus-mcp --tool-profile full --unsafe

Segurança e privacidade local-first

O Argus é executado na sua máquina e não envia telemetria para um serviço operado pela Argus. Relatórios e capturas de tela permanecem em ./argus-reports por padrão; seu host MCP e o provedor de modelo configurado ainda podem receber resultados de ferramentas incluídos na conversa. Ações do navegador e controles nativos do macOS podem causar efeitos colaterais reais, portanto use contas de teste e dados não relacionados à produção sempre que possível.

Leia a divulgação de privacidade completa e a política de segurança antes de usar o Argus em sistemas sensíveis.

Filosofia

Estrutura do projeto

argus/
├── mcp_server.py     # tool surface + role instructions + reproduction-receipt engine
├── browser.py        # Playwright backend: DOM/ARIA extraction, capsule/replay
├── resolver.py       # description → element (web + screen)
├── reporter.py       # HTML + JSON + JUnit + SARIF
├── detector.py       # console + network capture (only)
├── cli.py            # argus (explore) + argus-regression
├── bench/            # deterministic ceiling + real-LLM recall harness
└── screen/           # macOS AX backend, permissions, safety
test-site/            # BuggyTasks  (22 mechanical bugs)
human-eye-fixture/    # DarkShop    (12 human-eye bugs)