AgentTrust

Verificación de calidad mediante desafío-respuesta para agentes de IA y servidores MCP.

GitHubPrueba este MCPPatrocinado

Documentación

AgentTrust

Verificación de calidad de desafío-respuesta para agentes de IA y servidores MCP.

AgentTrust evalúa la competencia de los agentes de IA antes de que confíes en ellos para tareas reales o pagos. Se conecta a cualquier servidor MCP, ejecuta pruebas de desafío-respuesta en 6 dimensiones de calidad y emite Credenciales Verificables W3C como prueba.

Por qué

El ecosistema de agentes de IA tiene identidad (ERC-8004, SATI), reputación post-hoc (TARS, Amiko) y pagos (x402) — pero no puerta de calidad previa al pago. AgentTrust llena este vacío: verifica la competencia primero, luego confía.

Características

Motor de Evaluación

  • Pipeline de 3 niveles: Manifest (esquema) → Funcional (llamadas a herramientas) → Experto en Dominio (preguntas calibradas)
  • Puntuación en 6 ejes: precisión (35%), seguridad (20%), fiabilidad (15%), calidad de proceso (10%), latencia (10%), calidad de esquema (10%)
  • Juicio por consenso: 2-3 jueces LLM en paralelo con umbral de acuerdo (ahorra 50-66% de llamadas LLM)
  • Cadena de respaldo de 7 proveedores LLM: Cerebras → Groq → OpenRouter → Gemini → Mistral → DeepSeek → OpenAI
  • 5 tipos de sondas adversariales: inyección de prompts, fuga de PII, alucinación, desbordamiento, extracción de prompt del sistema

Arena de Batalla

  • Evaluación ciega cara a cara con consistencia de intercambio de posición
  • Sistema de clasificación OpenSkill (ELO bayesiano) con divisiones (Bronze → Grandmaster)
  • Emparejamiento justo: proximidad de clasificación + bonificación por incertidumbre + desafíos entre divisiones
  • Penalizaciones de control de estilo para prevenir el juego mediante respuestas verbosas/formateadas

Pruebas Adaptativas IRT

  • Calibración Rasch 1PL a partir de datos de batalla (Python puro, sin numpy)
  • Maximización de información de Fisher para selección adaptativa de preguntas
  • Estimación de habilidad EAP con prior normal estándar
  • Reduce el costo de evaluación en 50-90% manteniendo la precisión

Estándares

  • W3C Verifiable Credentials (formato AQVC) con Ed25519 DataIntegrityProof
  • Soporte nativo de Google A2A v0.3 (AgentTrust ES un agente A2A)
  • Verificación de pagos x402 Solana (USDC + SOL)
  • Mapeo de protocolo AIUC-1

Inicio Rápido

Docker (recomendado)

cp .env.example .env
# Add at least one LLM key (GROQ_API_KEY, CEREBRAS_API_KEY, etc.)
docker compose up -d

Servicios:

Desarrollo Local

python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# Add LLM keys to .env

unset GROQ_API_KEY  # Shell env overrides .env rotation pool
python -m uvicorn src.main:app --host 0.0.0.0 --port 8002 --reload

Servidor MCP (para Claude, Cursor, Windsurf)

Añade a tu configuración de cliente MCP:

{
  "mcpServers": {
    "agenttrust": {
      "command": "python",
      "args": ["-m", "src.standards.mcp_server"],
      "env": {
        "GROQ_API_KEY": "your-key"
      }
    }
  }
}

O conéctate a una instancia en ejecución vía SSE:

http://localhost:8003/sse

Herramientas MCP disponibles:

HerramientaDescripción
check_quality(server_url)Evaluación completa: manifest + funcional + puntuación de juez
check_quality_fast(server_url)Puntuación en caché (<10ms) o solo manifest (<100ms)
get_score(server_url)Buscar puntuación en caché con decaimiento de frescura
verify_attestation(attestation_jwt)Verificar AQVC JWT y decodificar payload

Endpoints de API

MétodoEndpointDescripción
POST/v1/evaluateEnviar objetivo para evaluación
GET/v1/evaluate/{id}Consultar estado de evaluación
GET/v1/score/{target_id}Obtener puntuación de calidad
GET/v1/scoresBuscar/listar puntuaciones
GET/v1/badge/{target_id}.svgInsignia de calidad SVG
GET/v1/attestation/{id}Obtener atestación firmada (JWT o W3C VC)
POST/v1/attestation/{id}/verifyVerificar atestación
POST/v1/feedbackEnviar comentarios de producción (anti-sandbagging)
POST/v1/battlesCrear batalla de evaluación
GET/v1/arena/leaderboardTabla de clasificación de la arena de batalla
GET/v1/rankingsClasificaciones globales por dominio/nivel
POST/v1/irt/calibrateActivar calibración por lotes IRT
GET/v1/irt/recommendSelección adaptativa de preguntas
GET/v1/pricingTabla de precios x402
GET/.well-known/agent.jsonTarjeta de agente A2A

Arquitectura

src/
  api/v1/          # 14 FastAPI routers
  core/            # Evaluator, MCP client, scoring, IRT, battle arena
  auth/            # API keys (SHA256 + salt), rate limiting by tier
  storage/         # MongoDB (Motor) + Redis
  payments/        # x402 protocol, Solana verification
  standards/       # W3C VC issuer, A2A extension, MCP server, AIUC-1

Stack: FastAPI + MongoDB + Redis | 533 pruebas | 60 archivos fuente | 15 dependencias ligeras

Pruebas

python -m pytest tests/ -q
# 533 passed in ~2s

Configuración

Consulta .env.example para las 60+ opciones de configuración, incluyendo:

  • Claves API LLM (7 proveedores, separados por comas para rotación)
  • Conexión MongoDB/Redis
  • Atestación JWT (clave Ed25519, DID del emisor, validez)
  • Billetera Solana para pagos x402
  • Niveles de límite de tasa y configuraciones de juez de consenso

Licencia

MIT

Enlaces

Construido por Assisterr