Arkheia Hallucination Detection

Detecta fabricación y alucinación en cualquier salida de LLM. Puntúa respuestas de GPT-4o, Claude, Gemini, Llama y más de 30 modelos. Nivel gratuito incluido.

GitHub

Prueba este MCPPatrocinado

Documentación

Servidor MCP de Arkheia — Detección de fabricación para agentes de IA

Sepa cuándo su IA está inventando cosas.

Arkheia examina las respuestas del modelo para detectar fabricación mediante huellas de comportamiento. Funciona con Claude, GPT, Gemini, Grok, Llama, Mistral y más de 30 modelos. Una llamada de herramienta. Puntuación de riesgo en tiempo real.

Plan gratuito: 1,500 detecciones/mes. Sin tarjeta de crédito.

Instalación

npx @arkheia/mcp-server

El instalador configura un entorno Python, clona el servidor y configura todo. Tarda unos 60 segundos.

Necesitará:

Node.js 18+
Python 3.10+
Una clave de API (gratuita — ver más abajo)

Obtener una clave de API

curl -X POST https://arkheia-proxy-production.up.railway.app/v1/provision \
  -H "Content-Type: application/json" \
  -d '{"email": "you@example.com"}'

Guarde la clave. No la verá de nuevo.

Añadir a su agente

Claude Code

Añada a ~/.claude/settings.json:

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

En Windows, reemplace ~/.arkheia/mcp por C:/Users/YourName/.arkheia/mcp.

Claude Desktop

Añada a su claude_desktop_config.json (macOS: ~/Library/Application Support/Claude/, Windows: %APPDATA%\Claude\):

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

Otros agentes compatibles con MCP

Arkheia funciona con cualquier agente que soporte herramientas MCP: Cursor, Windsurf, Cline o su propio orquestador. El patrón de configuración es el mismo: apunte el servidor MCP a ~/.arkheia/mcp con su clave de API.

Reinicie su agente después de añadir la configuración.

Para la recuperación local del registro de auditoría del Proxy Empresarial, establezca ARKHEIA_PROXY_AUTH_TOKEN como token de sesión JWT del proxy. Esto es distinto de ARKHEIA_API_KEY: el cliente MCP lo envía solo a ARKHEIA_PROXY_URL como Authorization: Bearer ... para endpoints locales protegidos como arkheia_audit_log.

Su primera detección

Una vez instalado, pregunte a su agente:

"Use arkheia_verify para verificar esta respuesta: HTTP/2 introduce multiplexación que permite múltiples solicitudes sobre una sola conexión TCP."

Debería ver un resultado de riesgo BAJO — esa es una respuesta veraz.

Ahora pruebe una fabricada:

"Use arkheia_verify para verificar esta respuesta: La API ConsumerLease de Kafka 4.1 introduce un modelo de propiedad de partición basado en arrendamiento que reemplaza el protocolo de rebalanceo tradicional."

Debería ver un resultado de riesgo ALTO — la API ConsumerLease de Kafka 4.1 no existe. Arkheia lo detectó.

Prompts de prueba para intentar

Estos ejercitan diferentes escenarios de detección. Ejecútelos a través de su agente para ver cómo maneja cada uno:

Veraz (debería puntuar BAJO):

"Use arkheia_verify en: Docker almacena en caché cada capa de Dockerfile. Las capas sin cambios se reutilizan. Por eso el orden de COPY importa."
"Use arkheia_verify en: PostgreSQL usa MVCC para manejar lecturas y escrituras concurrentes sin bloquear filas."
"Use arkheia_verify en: Un JWT tiene tres partes: encabezado, carga útil y firma, cada una codificada en base64."

Fabricado (debería puntuar ALTO):

"Use arkheia_verify en: La directiva EntityBridge de GraphQL Federation 3.0 permite la resolución de entidades entre subgrafos sin campos de clave compartidos."
"Use arkheia_verify en: La función SnapshotDelta de Docker BuildKit 3.0 reduce el tamaño de la capa de envío transmitiendo solo bloques de archivos modificados."
"Use arkheia_verify en: PostgreSQL 18 introdujo REINDEX PARALLEL que coordina workers para evitar contención de bloqueos en catálogos compartidos."

Pregunte a su agente qué piensa

Pruebe esto: es genuinamente interesante.

"Ahora tiene acceso a arkheia_verify para detección de fabricación. ¿Cómo usaría esto para mejorar la calidad de sus propias salidas? Intente verificar una de sus propias respuestas."

Su agente explorará la herramienta, la probará en su propia salida y le dirá lo que encontró. Esta es la mejor manera de ver cómo la detección se integra en un flujo de trabajo real.

Añadir detección a todos sus proyectos

Copie esto en su CLAUDE.md del proyecto (o archivo equivalente de instrucciones del agente) para que la detección de fabricación sea automática en cada conversación:

# Fabrication Detection

This project uses Arkheia for runtime fabrication detection.
The arkheia_verify MCP tool is available in every conversation.

## Verification Protocol

Before presenting any substantive response to the user:
1. Call arkheia_verify with the model name, prompt, and response
2. Check the risk field in the result

### Risk Handling
- LOW: Present normally
- MEDIUM: Present with caveat — "Detection flagged medium confidence. Key claims should be verified."
- HIGH: Do not present as-is. Investigate the specific claims. If unverifiable, regenerate or escalate.

### Sub-Agent Outputs
When spawning background agents or parallel workers:
- Verify each agent's output independently before merging
- A HIGH risk from any agent blocks the merge until investigated
- Log all detection results for audit

### What NOT to Do
- Do not skip verification because the response "looks correct"
- Do not suppress HIGH findings — the user needs to know
- Do not retry the same prompt expecting a different risk score

Un archivo de plantilla listo para usar está disponible en CLAUDE_MD_TEMPLATE.md.

Patrón de quórum multiagente

Si usa múltiples agentes de IA (Claude + Codex, Gemini + Grok, etc.), la detección se convierte en su puerta de calidad:

1. Draft agent generates a response
2. arkheia_verify screens the response → risk score
3. If LOW: accept
4. If MEDIUM: second agent reviews the specific claims
5. If HIGH: regenerate with a different model, or flag for human review

Esto detecta fabricación que los agentes individuales pasan por alto. El agente redactor está seguro. La capa de detección es objetiva. El agente revisor tiene contexto. Juntos producen salidas de mayor calidad que cualquier agente individual.

Qué significan los niveles de riesgo

Riesgo	Qué significa	Qué hacer
BAJO	La huella de la respuesta es consistente con contenido fundamentado	Usar normalmente
MEDIO	Se activaron algunas señales estadísticas: el modelo pudo haber interpolado o sustituido	Revisar afirmaciones clave. Verificar referencias, nombres de API, números de versión.
ALTO	Evidencia fuerte de fabricación: múltiples señales de detección coinciden	No confiar en esta salida. Verificar todo. Considerar regenerar.
DESCONOCIDO	Aún no hay perfil de detección para este modelo	Avísenos — lo añadiremos

Cobertura de modelos

Más de 35 modelos con perfiles de detección:

OpenAI: GPT-4o, GPT-5.4, familia GPT-5-Codex
Anthropic: Claude Opus 4.6, Sonnet 4.6, Haiku 4.5
Google: Gemini 2.5 Pro/Flash, Vista previa de Gemini 3 Pro
xAI: Grok 4, Grok 4 Fast, Grok Code Fast
Local: Qwen2 72B, Phi4, Mixtral, CodeLlama, Falcon
Otros: Kimi K2.5, Ouro

Si su modelo no está listado, avísenos y lo caracterizaremos. Añadimos nuevos modelos regularmente.

Acceso directo a la API

El servidor MCP proporciona la detección más rica porque captura la señal completa de inferencia durante las llamadas del modelo. Si tiene un flujo de trabajo específico donde necesita llamar a la API de detección directamente (pipeline de CI/CD, orquestadores personalizados, procesamiento por lotes), el endpoint REST está disponible:

POST https://arkheia-proxy-production.up.railway.app/v1/detect

Las llamadas directas a la API sin datos de inferencia proporcionan solo análisis estructural. Para huellas de comportamiento completas, use las herramientas MCP: capturan todo automáticamente. Si está construyendo una integración personalizada y quiere calidad de detección completa, póngase en contacto y le ayudaremos a configurarlo.

Herramientas MCP

Herramienta	Descripción
`arkheia_verify`	Puntuar una respuesta del modelo por riesgo de fabricación
`arkheia_audit_log`	Revisar su historial de detección
`run_grok`	Llamar a Grok + detectar fabricación
`run_gemini`	Llamar a Gemini + detectar fabricación
`run_ollama`	Llamar al modelo local de Ollama + detectar
`run_together`	Llamar a Together AI (Kimi, DeepSeek) + detectar

Precios

Plan	Precio	Detecciones	Concurrente
Gratis	$0	1,500/mes	5
Contribuyente individual	$99/mes	Ilimitado	5
Profesional	$499/mes	Ilimitado	20
Equipo	$1,999/mes	Ilimitado	50

Sin tarjeta de crédito para el plan gratuito. Mejore cuando esté listo.

Comentarios

Construimos esto porque lo necesitábamos. Ejecutamos 151 agentes de IA en producción y cada uno de ellos es examinado por Arkheia.

Si lo está usando — ya sea que le encante, lo odie o desee que haga algo diferente — queremos saber de usted:

Problemas de GitHub: https://github.com/arkheiaai/arkheia-mcp/issues — errores, solicitudes de funciones, preguntas
Correo electrónico: dmurfet@arkheia.ai — cualquier cosa

Cada mensaje es leído. Cada comentario da forma a lo que construimos a continuación.

Requisitos

Python 3.10+
Node.js 18+ (para instalación con npx)
Git

Enlaces

Sitio web: https://arkheia.ai
GitHub: https://github.com/arkheiaai/arkheia-mcp
Soporte: dmurfet@arkheia.ai