AgentTrust

Verificação de qualidade por desafio-resposta para agentes de IA e servidores MCP.

GitHubExperimente este MCPPatrocinado

Documentação

AgentTrust

Verificação de qualidade por desafio-resposta para agentes de IA e servidores MCP.

O AgentTrust avalia a competência de agentes de IA antes que você confie neles para tarefas reais ou pagamentos. Ele se conecta a qualquer servidor MCP, executa testes de desafio-resposta em 6 dimensões de qualidade e emite Credenciais Verificáveis W3C como prova.

Por quê

O ecossistema de agentes de IA tem identidade (ERC-8004, SATI), reputação post-hoc (TARS, Amiko) e pagamentos (x402) — mas não tem portão de qualidade pré-pagamento. O AgentTrust preenche essa lacuna: verifique a competência primeiro, depois confie.

Recursos

Mecanismo de Avaliação

  • Pipeline de 3 níveis: Manifesto (schema) → Funcional (chamadas de ferramentas) → Especialista de Domínio (perguntas calibradas)
  • Pontuação em 6 eixos: precisão (35%), segurança (20%), confiabilidade (15%), qualidade de processo (10%), latência (10%), qualidade de schema (10%)
  • Julgamento por consenso: 2-3 juízes LLM em paralelo com limite de concordância (economiza 50-66% das chamadas LLM)
  • Cadeia de fallback de 7 provedores LLM: Cerebras → Groq → OpenRouter → Gemini → Mistral → DeepSeek → OpenAI
  • 5 tipos de sondas adversariais: injeção de prompt, vazamento de PII, alucinação, estouro (overflow), extração de prompt do sistema

Arena de Batalha

  • Avaliação cega frente a frente com consistência de troca de posição
  • Sistema de classificação OpenSkill (ELO Bayesiano) com divisões (Bronze → Grão-Mestre)
  • Matchmaking justo: proximidade de classificação + bônus de incerteza + desafios entre divisões
  • Penalidades de controle de estilo para evitar manipulação por respostas verbosas/formatadas

Teste Adaptativo IRT

  • Calibração Rasch 1PL a partir de dados de batalha (Python puro, sem numpy)
  • Maximização da informação de Fisher para seleção adaptativa de perguntas
  • Estimativa de habilidade EAP com prior normal padrão
  • Reduz o custo de avaliação em 50-90% mantendo a precisão

Padrões

  • Credenciais Verificáveis W3C (formato AQVC) com DataIntegrityProof Ed25519
  • Suporte nativo ao Google A2A v0.3 (o AgentTrust É um agente A2A)
  • Verificação de pagamento x402 Solana (USDC + SOL)
  • Mapeamento de protocolo AIUC-1

Início Rápido

Docker (recomendado)

cp .env.example .env
# Add at least one LLM key (GROQ_API_KEY, CEREBRAS_API_KEY, etc.)
docker compose up -d

Serviços:

Desenvolvimento Local

python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# Add LLM keys to .env

unset GROQ_API_KEY  # Shell env overrides .env rotation pool
python -m uvicorn src.main:app --host 0.0.0.0 --port 8002 --reload

Servidor MCP (para Claude, Cursor, Windsurf)

Adicione à configuração do seu cliente MCP:

{
  "mcpServers": {
    "agenttrust": {
      "command": "python",
      "args": ["-m", "src.standards.mcp_server"],
      "env": {
        "GROQ_API_KEY": "your-key"
      }
    }
  }
}

Ou conecte-se a uma instância em execução via SSE:

http://localhost:8003/sse

Ferramentas MCP disponíveis:

FerramentaDescrição
check_quality(server_url)Avaliação completa: manifesto + funcional + pontuação do juiz
check_quality_fast(server_url)Pontuação em cache (<10ms) ou apenas manifesto (<100ms)
get_score(server_url)Consulta de pontuação em cache com decaimento de frescor
verify_attestation(attestation_jwt)Verificar JWT AQVC e decodificar payload

Endpoints da API

MétodoEndpointDescrição
POST/v1/evaluateEnviar alvo para avaliação
GET/v1/evaluate/{id}Consultar status da avaliação
GET/v1/score/{target_id}Obter pontuação de qualidade
GET/v1/scoresBuscar/listar pontuações
GET/v1/badge/{target_id}.svgDistintivo de qualidade SVG
GET/v1/attestation/{id}Obter atestado assinado (JWT ou VC W3C)
POST/v1/attestation/{id}/verifyVerificar atestado
POST/v1/feedbackEnviar feedback de produção (anti-sandbagging)
POST/v1/battlesCriar batalha de avaliação
GET/v1/arena/leaderboardClassificação da arena de batalha
GET/v1/rankingsRankings globais por domínio/nível
POST/v1/irt/calibrateAcionar calibração em lote IRT
GET/v1/irt/recommendSeleção adaptativa de perguntas
GET/v1/pricingTabela de preços x402
GET/.well-known/agent.jsonCartão de Agente A2A

Arquitetura

src/
  api/v1/          # 14 FastAPI routers
  core/            # Evaluator, MCP client, scoring, IRT, battle arena
  auth/            # API keys (SHA256 + salt), rate limiting by tier
  storage/         # MongoDB (Motor) + Redis
  payments/        # x402 protocol, Solana verification
  standards/       # W3C VC issuer, A2A extension, MCP server, AIUC-1

Stack: FastAPI + MongoDB + Redis | 533 testes | 60 arquivos-fonte | 15 dependências enxutas

Testes

python -m pytest tests/ -q
# 533 passed in ~2s

Configuração

Consulte .env.example para todas as 60+ opções de configuração, incluindo:

  • Chaves de API LLM (7 provedores, separados por vírgula para rotação)
  • Conexão MongoDB/Redis
  • Atestado JWT (chave Ed25519, DID do emissor, validade)
  • Carteira Solana para pagamentos x402
  • Níveis de limite de taxa e configurações do juiz de consenso

Licença

MIT

Links

Desenvolvido por Assisterr