The Aggregate
Classificações de LLMs ajustadas em benchmarks públicos: leaderboard, perfis de modelos com Elo ± SE, comparações frente a frente e pontuações de benchmarks com links para as fontes. Gratuito, sem autenticação.
Servidor MCP hospedado
npx add-mcp 'https://theaggregate.ai/mcp'Instala no Claude Code, Codex, Cursor e outros
Documentação
Um endpoint gratuito e somente leitura do Model Context Protocol sobre The Aggregate: um ranking entre modelos, fundido a partir de leaderboards públicos de benchmarks de LLM com um modelo de teoria de resposta ao item (IRT), escalado por Elo e com erros padrão, reconstruído diariamente.
https://theaggregate.ai/mcp
Transporte: HTTP Streamable (JSON-RPC sem estado via POST). Sem chave ou cadastro necessário.
Conectar
Claude Code
claude mcp add --transport http the-aggregate https://theaggregate.ai/mcp
Claude (web / desktop): Configurações → Conectores → Adicionar conector personalizado → https://theaggregate.ai/mcp
Outros clientes MCP (Cursor, modo desenvolvedor do ChatGPT, …):
{ "mcpServers": { "the-aggregate": { "url": "https://theaggregate.ai/mcp" } } }
Ferramentas
| Ferramenta | O que ela responde |
|---|---|
get_leaderboard | Quem lidera o ranking fundido entre benchmarks (paginado). |
search_models | Encontre modelos ranqueados por nome ou provedor. |
get_model | Um modelo: posição, Elo ± erro padrão, descrição, custo por tarefa, resultados notáveis. |
compare_models | Confronto direto com verificação de significância na diferença de Elo. |
search_benchmarks | Encontre benchmarks no agregado. |
get_benchmark | Um benchmark: link da fonte, estatísticas de IRT, habilidades, principais modelos. |
get_prediction_duel | Classificações por suposição — nosso modelo vs LLMs de ponta na previsão de novas pontuações. |
about_the_aggregate | Método, contagens de cobertura e como citar. |
Uso justo e atribuição
- Gratuito para uso; as respostas são consultas limitadas e o endpoint tem limite de taxa por IP.
- Ao publicar números dele, credite The Aggregate (theaggregate.ai). As pontuações por benchmark também pertencem aos leaderboards upstream — cada resposta os vincula; credite-os também.
- Operadores de leaderboard: dúvidas, correções ou pedidos de remoção pelo botão Report issue em theaggregate.ai (na parte inferior da barra lateral em todas as páginas).