conKurrence

Kit de avaliação de IA — medir concordância entre avaliadores (κ de Fleiss, W de Kendall) em múltiplos provedores de LLM

GitHubExperimente este MCPPatrocinado

Documentação

ConKurrence

Um comando. Descubra se sua IA concorda consigo mesma.

ConKurrence é um kit de ferramentas de medição de consenso estatisticamente validado para pipelines de avaliação de IA. Ele usa múltiplos modelos de IA como avaliadores independentes, mede a confiabilidade entre avaliadores com o kappa de Fleiss e intervalos de confiança bootstrap, e encaminha itens contestados para especialistas humanos.

Instalação

npm install -g conkurrence

MCP Server

Use o ConKurrence como um servidor MCP no Claude Desktop ou em qualquer cliente compatível com MCP:

npx conkurrence mcp

Configuração do Claude Desktop

Adicione ao seu claude_desktop_config.json:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Plugin do Claude Code

/plugin marketplace add AlligatorC0der/conkurrence

Recursos

Avaliação multi-modelo — Execute seu schema contra modelos Bedrock, OpenAI e Gemini simultaneamente
Rigor estatístico — kappa de Fleiss com intervalos de confiança bootstrap, W de Kendall para validade
Modo de autoconsistência — Sem necessidade de chaves de API; usa o modelo host via MCP Sampling
Sugestão de schema — Design de schema com IA a partir dos seus dados
Acompanhamento de tendências — Compare execuções ao longo do tempo, detecte degradação de concordância
Estimativa de custo — Saiba o custo antes de executar

MCP Tools

Ferramenta	Descrição
`conkurrence_run`	Execute uma avaliação com múltiplos avaliadores de IA
`conkurrence_report`	Gere um relatório markdown detalhado
`conkurrence_compare`	Comparação lado a lado de duas execuções
`conkurrence_trend`	Acompanhe a concordância ao longo de múltiplas execuções
`conkurrence_suggest`	Sugestão de schema com IA a partir dos seus dados
`conkurrence_validate_schema`	Valide um schema antes de executar
`conkurrence_estimate`	Estime custo e uso de tokens

Licença

BUSL-1.1 — Business Source License 1.1