conKurrence

ConKurrence

Un comando. Descubre si tu IA está de acuerdo consigo misma.

ConKurrence es un conjunto de herramientas de medición de consenso estadísticamente validado para pipelines de evaluación de IA. Utiliza múltiples modelos de IA como evaluadores independientes, mide la fiabilidad entre evaluadores con el kappa de Fleiss e intervalos de confianza bootstrap, y envía los elementos en disputa a expertos humanos.

Instalación

npm install -g conkurrence

Servidor MCP

Usa ConKurrence como servidor MCP en Claude Desktop o en cualquier cliente compatible con MCP:

npx conkurrence mcp

Configuración de Claude Desktop

Añade a tu claude_desktop_config.json:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Plugin de Claude Code

/plugin marketplace add AlligatorC0der/conkurrence

Características

• Evaluación multi-modelo — Ejecuta tu esquema contra modelos de Bedrock, OpenAI y Gemini simultáneamente
• Rigor estadístico — Kappa de Fleiss con intervalos de confianza bootstrap, W de Kendall para validez
• Modo de autoconsistencia — No se necesitan claves API; usa el modelo anfitrión mediante MCP Sampling
• Sugerencia de esquema — Diseño de esquema impulsado por IA a partir de tus datos
• Seguimiento de tendencias — Compara ejecuciones a lo largo del tiempo, detecta degradación del acuerdo
• Estimación de costos — Conoce el costo antes de ejecutar

Herramientas MCP

Herramienta	Descripción
conkurrence_run	Ejecuta una evaluación a través de múltiples evaluadores de IA
conkurrence_report	Genera un informe detallado en markdown
conkurrence_compare	Comparación lado a lado de dos ejecuciones
conkurrence_trend	Realiza seguimiento del acuerdo a lo largo de múltiples ejecuciones
conkurrence_suggest	Sugerencia de esquema impulsada por IA a partir de tus datos
conkurrence_validate_schema	Valida un esquema antes de ejecutar
conkurrence_estimate	Estima el costo y el uso de tokens

Enlaces

• Página principal: conkurrence.com
• npm: npmjs.com/package/conkurrence
• Términos de servicio: app.conkurrence.com/terms
• Política de privacidad: app.conkurrence.com/privacy

Licencia

BUSL-1.1 — Business Source License 1.1