Argus Testing

Argus

Un servidor MCP que prueba aplicaciones como un ingeniero de pruebas real: explora recorridos de usuario, descubre errores no guionados y demuestra cada hallazgo antes de reportarlo.

Argus es un servidor MCP. Añade QA de navegador basado en evidencia a Claude Code, Codex, Cursor o cualquier host MCP sin asumir la identidad del agente anfitrión ni su tarea de codificación más amplia. El agente explora, inspecciona, verifica la persistencia y registra errores reproducibles. Cada hallazgo certificado es reconfirmado de forma independiente desde una carga de página limpia antes de reportarse.

Página de producto · Inicio rápido · Por qué Argus · Comparación · Herramientas · Benchmarks

El resultado

Dale una URL; obtén un informe de errores, cada uno etiquetado con si Argus lo reprodujo de forma independiente o solo lo observó:

La insignia verde es el punto clave. Cualquiera puede hacer que un LLM afirme un error. Argus recarga la página desde cero y vuelve a comprobar el síntoma antes de decir VERIFICADO — así que el informe es una lista de errores en los que puedes confiar, no una lista de conjeturas para triar.

Cómo funciona

flowchart LR
    A(["observe"]) --> B{"looks wrong?"}
    B -->|not sure| C["act: click · type · resize · verify"]
    C --> A
    B -->|bug| D["verify_persistence — reload from a clean state"]
    D -->|symptom repeats| E(["VERIFIED"])
    D -->|symptom gone| F(["dropped — no false positive"])
    E --> G[["report: HTML · JSON · JUnit · SARIF"]]

El agente es la inteligencia. Argus proporciona una guía de QA concisa, una superficie de herramientas basada en descripciones (click_what("Login button"), no click(7)), un registro de cobertura de objetivos y un motor de recibos de reproducción que convierte "el modelo cree que esto es un error" en "este error es real, aquí está la prueba".

Inicio rápido

Con uv instalado, no se requiere instalación global de paquetes de Python. Instala Chromium una vez:

uvx --from playwright playwright install chromium

Luego conecta Argus a tu cliente MCP.

Claude Code

claude mcp add argus -- uvx --from argus-testing argus-mcp

Codex y la aplicación de escritorio de ChatGPT

Codex CLI, la extensión de IDE de Codex y la aplicación de escritorio de ChatGPT comparten la misma configuración MCP local:

codex mcp add argus -- uvx --from argus-testing argus-mcp

Cursor

El botón añade Argus a Cursor; ejecuta el comando de instalación de Chromium de arriba una vez antes de la primera prueba.

Cualquier cliente MCP stdio

{
  "mcpServers": {
    "argus": {
      "command": "uvx",
      "args": ["--from", "argus-testing", "argus-mcp"]
    }
  }
}

El perfil predeterminado core expone el flujo de trabajo principal de pruebas web sin inundar al host con cada herramienta especializada. Usa uvx --from argus-testing argus-mcp --list-tools para inspeccionar el perfil seleccionado, --tool-profile screen para pruebas nativas de macOS, o --tool-profile full para toda la superficie avanzada. ARGUS_TOOL_PROFILE proporciona la misma configuración a través del entorno.

Luego simplemente pregunta, en tu sesión de agente:

"Prueba mi aplicación en http://localhost:3000 — encuentra errores reales."

Eso es todo. El agente conduce; Argus lo mantiene honesto y escribe el informe.

Para una revisión acotada, el host puede dar a start_session goals explícitos, constraints, y un time_budget_minutes de asesoramiento. Argus devuelve el protocolo de prueba completo una vez y mantiene los objetivos pendientes y las páginas descubiertas visibles en observaciones posteriores. Marca un objetivo in_progress antes de su recorrido; cuando coverage_update lo marca como exercised o blocked, Argus requiere una explicación concreta y enlaza automáticamente las URLs, acciones con valores redactados, capturas de pantalla, comprobaciones de persistencia, errores y observaciones producidas en esa ventana de prueba. Los informes finales en HTML y JSON preservan tanto la cobertura completada como la incompleta, en lugar de implicar que una pasada incompleta fue exhaustiva.

pip install argus-testing
playwright install chromium
claude mcp add argus -- argus-mcp

# Uses a LiteLLM-backed planner. Set a provider key (OPENAI_API_KEY, DEEPSEEK_API_KEY, …).
uvx --from argus-testing argus http://localhost:3000 --model deepseek/deepseek-chat

# Higher recall: union N independent passes (deduped, proven instance kept)
uvx --from argus-testing argus http://localhost:3000 --passes 3

pip install 'argus-testing[mac]'
brew install cliclick          # keystroke / coordinate fallback
argus-mcp --doctor             # check Screen Recording + Accessibility grants
claude mcp add argus-screen -- argus-mcp --tool-profile screen

Límites de artefactos y recursos

Argus escribe las capturas de pantalla de cada ejecución en su propio directorio de ejecución para que las pruebas posteriores no puedan sobrescribir evidencia anterior. Las sesiones largas de navegador también mantienen registros de eventos en memoria acotados y solo leen cuerpos de respuesta para tráfico de API inspeccionable; los cuerpos binarios y de gran tamaño se omiten antes de entrar en la memoria de Python.

La limpieza de informes es explícita y con simulación (dry-run) por defecto. Las 20 ejecuciones completas más recientes están protegidas en este ejemplo; los diarios de .argus y las cápsulas de estado nunca se eliminan:

argus-cleanup --output ./argus-reports --keep-runs 20
argus-cleanup --output ./argus-reports --keep-runs 20 --apply

Usa --older-than-days y --max-size-mb para políticas más estrictas. Los límites avanzados se pueden ajustar con ARGUS_MAX_NETWORK_EVENTS, ARGUS_MAX_ERROR_EVENTS, ARGUS_MAX_DOWNLOAD_EVENTS, ARGUS_MAX_DIALOG_EVENTS, ARGUS_MAX_RESPONSE_BODY_BYTES y ARGUS_MAX_RESPONSE_READ_BYTES. Las respuestas sin una longitud declarada se omiten por defecto; ARGUS_CAPTURE_UNKNOWN_LENGTH_BODY=1 opta por leerlas. Cuando un límite descarta evidencia antigua, Argus lo dice en la salida de la herramienta y en el resumen final de la sesión.

Por qué Argus es diferente

Las herramientas de prueba existentes solo prueban lo que guionas. Playwright y Cypress ejecutan las aserciones que escribiste. Argus descubre errores que no pensaste en probar — y luego hace lo que un LLM solo no puede hacer de forma confiable: los demuestra.

Cómo se compara

En el eje que importa para encontrar errores — descubrir autónomamente, verificar de forma independiente y reportar — Argus ocupa un lugar diferente al de la multitud de browser-MCP:

Estas no son herramientas "peores" — son un trabajo diferente. Playwright MCP le da a un agente excelentes manos; Chrome DevTools MCP le da una inspección profunda de red/rendimiento/memoria que Argus no tiene. Argus es la capa que decide qué es un error y lo demuestra. Úsalas juntas.

Benchmarks

$ python -m argus.bench --target all

  buggytasks    22 / 22  = 100 %   ·  mechanical bugs (console errors, fake delete, auth bypass…)
  darkshop      12 / 12  = 100 %   ·  human-eye bugs (fake scarcity, lying toasts, stale state…)
  ──────────────────────────────────────────────────────────────────────
  total         34 / 34  = 100 %   ·  reproducible from git clone in two commands

34 / 34 es el techo de capacidad — lo que es encontrable a través de la superficie de herramientas, medido por scripts deterministas. Está deliberadamente separado de con qué frecuencia un LLM dado recuerda usar bien las herramientas, que es ruidoso y se reporta honestamente abajo.

python test-site/app.py           # BuggyTasks  :5555
python human-eye-fixture/app.py   # DarkShop    :5556
python -m argus.bench --target all

Superficie de herramientas

argus-mcp comienza con el perfil web enfocado core. Cada herramienta pública está documentada abajo. Los conteos también están disponibles directamente desde el servidor instalado:

uvx --from argus-testing argus-mcp --list-tools
uvx --from argus-testing argus-mcp --tool-profile screen --list-tools
uvx --from argus-testing argus-mcp --tool-profile full --list-tools

Los informes conservan las capturas de pantalla originales como evidencia y, por defecto, escriben vistas previas WebP compactas en report-assets/ en lugar de incrustar en base64 cada PNG de tamaño completo en el HTML. Establezca ARGUS_PORTABLE_REPORT=1 cuando un único archivo HTML autocontenido sea más importante que el tamaño. La salida JSON incluye recibos de reproducción completos, el contrato de cobertura y sus referencias de evidencia estructuradas, restricciones, modo de revisión, recuentos de llamadas a herramientas y pasos registrados, metadatos de capturas y observaciones cualitativas. Los totales de fallos del conjunto JUnit coinciden con los nodos <failure> emitidos.

uvx --from argus-testing argus-mcp --tool-profile full --unsafe

Seguridad y privacidad local-primero

Argus se ejecuta en su máquina y no envía telemetría a un servicio operado por Argus. Los informes y capturas permanecen en ./argus-reports por defecto; su host MCP y su proveedor de modelos configurado aún pueden recibir los resultados de herramientas incluidos en la conversación. Las acciones del navegador y los controles nativos de macOS pueden causar efectos secundarios reales, así que use cuentas de prueba y datos que no sean de producción siempre que sea posible.

Lea la divulgación de privacidad completa y la política de seguridad antes de usar Argus con sistemas sensibles.

Filosofía

Estructura del proyecto

argus/
├── mcp_server.py     # tool surface + role instructions + reproduction-receipt engine
├── browser.py        # Playwright backend: DOM/ARIA extraction, capsule/replay
├── resolver.py       # description → element (web + screen)
├── reporter.py       # HTML + JSON + JUnit + SARIF
├── detector.py       # console + network capture (only)
├── cli.py            # argus (explore) + argus-regression
├── bench/            # deterministic ceiling + real-LLM recall harness
└── screen/           # macOS AX backend, permissions, safety
test-site/            # BuggyTasks  (22 mechanical bugs)
human-eye-fixture/    # DarkShop    (12 human-eye bugs)