Iris

Iris — arrêtez de livrer des agents à l'aveugle

Iris évalue chaque exécution d'agent pour la qualité, la sécurité et le coût — sur votre machine, sans SDK et sans compte. La plupart des projets d'agents vérifient la qualité en exécutant quelques invites mémorisées et en examinant les résultats à l'œil nu. Iris remplace cela par des chiffres que vous pouvez auditer : les exécutions de vos agents atterrissent dans une base SQLite sur votre disque, 13 règles intégrées les notent de manière déterministe — PII, injection d'invite, marqueurs d'hallucination, seuils de coût — gratuitement, sans appels LLM, et un juge LLM optionnel avec un plafond de coût strict par évaluation gère les questions sémantiques. Chaque règle est inspectable et modifiable, car un juge que vous ne pouvez pas auditer n'est que de l'à-peu-près avec un chiffre dessus. Licence MIT, aucune télémétrie ; vos traces ne quittent jamais votre machine.

Nécessite Node.js 20 ou ultérieur. Vérifiez avec node --version.

Un échec à l'écran en 60 secondes

Aucun câblage d'agent, aucune configuration — une seule commande :

npx @iris-eval/mcp-server --demo

Cela initialise une base de démonstration — une poignée de petits agents avec une semaine d'exécutions — et sert le tableau de bord à l'adresse http://localhost:6920 (votre navigateur s'ouvre automatiquement au premier lancement). Le tableau de bord atterrit sur Échecs : ce qui a échoué, du pire au plus récent. Ça vaut le coup de cliquer — une fuite de PII détectée par les règles de sécurité, une tentative d'injection d'invite signalée, et un score de juge LLM échoué avec sa justification.

Les données de démonstration vivent dans leur propre base (demo.db dans votre répertoire personnel Iris — ~/.iris sur macOS/Linux, %USERPROFILE%\.iris sur Windows) et ne se mélangent jamais à vos vraies traces. Supprimez tout avec une seule commande :

npx @iris-eval/mcp-server --demo-clear

Connectez votre propre agent

Ajoutez Iris à votre configuration MCP. Fonctionne avec Claude Desktop, Claude Code, Cursor, Windsurf, Continue, VS Code, Cline, Zed, Codex CLI, Gemini CLI — et tout autre agent compatible MCP. Un seul bloc, tableau de bord inclus :

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

Votre agent découvre les neuf outils d'Iris à la connexion, et le tableau de bord sert à http://localhost:6920. Collez maintenant ceci à votre agent :

Enregistrez cette dernière tâche dans Iris et évaluez la sortie.

La trace atterrit sur le tableau de bord avec ses scores. Vous préférez le serveur MCP sans tête ? Retirez --dashboard des arguments — vous pouvez ouvrir le même tableau de bord à tout moment avec npx @iris-eval/mcp-server --dashboard.

Une chose à savoir d'emblée : les outils MCP sont appelés lorsque le modèle décide de les appeler. Iris n'intercepte pas votre agent, donc les traces sont enregistrées lorsque votre agent demande à les enregistrer — soit parce que vous le lui avez dit, soit parce que votre code appelle directement les outils. Demandez à votre agent de « logger ceci dans Iris et de l'évaluer » et il le fera. Si vous voulez une capture qui ne dépend pas du choix du modèle, POST /api/v1/traces fait exactement cela — votre code envoie la trace en HTTP simple, sans modèle dans la boucle (voir docs/http-ingest.md). La CLI et les SDK de la feuille de route seront des clients légers sur le même point de terminaison.

Capture via HTTP (sans modèle dans la boucle)

Avec le tableau de bord en cours d'exécution, tout ce qui peut envoyer une requête HTTP peut enregistrer une trace — et éventuellement exécuter les évaluations déterministes dans la même requête :

curl -s -X POST "http://127.0.0.1:6920/api/v1/traces" \
  -H "Content-Type: application/json" \
  -d '{
    "agent_name": "support-bot",
    "input": "What is the refund policy?",
    "output": "Refunds are available within 30 days of purchase.",
    "evaluate": true,
    "eval_type": "safety"
  }'

Renvoie 201 avec le trace_id stocké et le résultat de l'évaluation. Le point de terminaison accepte le même corps que l'outil log_trace et se trouve derrière la même pile middleware en boucle locale que le reste du tableau de bord. Contrat complet, référence des champs et sémantique des erreurs : docs/http-ingest.md.

Vérifier l'installation

npx @iris-eval/mcp-server --self-test

Un diagnostic d'installation hors ligne : aller-retour de stockage, évaluations déterministes, tableau de bord + garde anti-rebond DNS — le tout dans un répertoire personnel temporaire isolé, afin que votre vraie base ne soit jamais ouverte. Code de sortie 0 = sain, 1 = un contrôle a échoué.

claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

{
  "servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server"]
    }
  }
}

{
  "context_servers": {
    "iris-eval": {
      "command": {
        "path": "npx",
        "args": ["@iris-eval/mcp-server"]
      }
    }
  }
}

[mcp_servers.iris-eval]
command = "npx"
args = ["@iris-eval/mcp-server"]

Autres méthodes d'installation

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-mcp --dashboard

# Docker — two servers, two ports: 3000 = MCP HTTP transport,
# 6920 = dashboard (which also serves the POST /api/v1/traces ingest endpoint)
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data ghcr.io/iris-eval/mcp-server

Astuce : L'installation globale (npm install -g) stocke les traces de manière persistante à ~/.iris/iris.db. Avec npx, les traces persistent au même endroit, mais le démarrage est plus lent en raison de la résolution des paquets.

Ce que vous obtenez

Où cela va ensuite : la feuille de route.

Outils MCP

Iris enregistre neuf outils que tout agent compatible MCP peut invoquer — cycle de vie complet des règles + traces + juge LLM + vérification sémantique des citations :

• log_trace — Enregistre une exécution d'agent avec spans, appels d'outils, utilisation de jetons et coût
• evaluate_output — Note la qualité de la sortie selon les règles d'exhaustivité, de pertinence, de sécurité et de coût (heuristique, déterministe, gratuit)
• get_traces — Interroge les traces stockées avec filtrage, pagination et prise en charge de plages temporelles
• list_rules — Énumère les règles d'évaluation personnalisées déployées (lecture seule)
• deploy_rule — Enregistre une nouvelle règle d'évaluation personnalisée pour qu'elle se déclenche à chaque evaluate_output de cette catégorie
• delete_rule — Supprime une règle personnalisée déployée (destructif, idempotent)
• delete_trace — Supprime une trace stockée par identifiant (destructif, limité au locataire)
• evaluate_with_llm_judge — Évaluation sémantique via LLM (Anthropic ou OpenAI). Cinq modèles : exactitude, utilité, sécurité, correction, fidélité. Plafond de coût, tarification par évaluation divulguée. Apportez votre propre clé API (IRIS_ANTHROPIC_API_KEY ou IRIS_OPENAI_API_KEY) — Iris ne transite ni ne relaie les appels LLM.
• verify_citations — Extrait les citations de la sortie (numérotées, auteur-année, URL, DOI), récupère les sources derrière un résolveur protégé contre les SSRF et avec liste blanche de domaines, et utilise un juge LLM pour vérifier si chaque source soutient réellement l'affirmation citée. HTTP sortant sur consentement. Même exigence BYOK que evaluate_with_llm_judge.

Lorsque IRIS_OTEL_ENDPOINT est configuré, les appels log_trace émettent également un export JSON OTLP/HTTP au mieux-effort vers tout collecteur OpenTelemetry (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb, etc.). Voir docs/otel-integration.md.

Comment passed est décidé

evaluate_output renvoie à la fois un score et un indicateur passed — ils répondent à des questions différentes :

• score (0..1) est la moyenne pondérée des règles exécutées — un gradient de qualité.
• passed est le verdict livrer/ne pas livrer : true uniquement lorsque le score dépasse le seuil de passage (défaut 0,7) et qu'aucune règle critique n'a échoué.

Les véritables violations de sécurité échouent durement. no_pii, no_injection_patterns et no_blocklist_words sont des règles critiques : si l'une échoue, l'évaluation rapporte passed: false quel que soit le score des autres règles, et la réponse nomme les coupables dans critical_failures. Un SSN divulgué ne peut pas être moyenné. Les règles personnalisées déployées avec severity: "high" ou "critical" échouent durement de la même manière ; les sévérités low/medium n'affectent que le score. Une limite à connaître : une règle critique qui a été ignorée (contexte manquant ou toute autre cause d'ignorance) n'a pas jugé la sortie et ne fait pas opposition — rule_results montre chaque ignorance et sa raison, afin qu'une barrière qui doit échouer en position fermée sur les non-verdicts le puisse.

Un piège pour les barrières CI : si vous omettez eval_type, le bundle par défaut completeness s'exécute — les règles de sécurité non. La réponse fait écho à eval_type (plus un note lorsqu'il a été défini par défaut) afin que votre barrière puisse vérifier quel bundle a réellement été exécuté. Appuyez-vous sur passed pour le verdict et eval_type: "safety" pour la couverture.

Schémas complets des outils et configuration : iris-eval.com

Fonctionnalités hébergées

Iris s'exécute entièrement sur votre machine aujourd'hui, et tout ce qu'il fait est gratuit, sous licence MIT, sans limites et sans compte.

Le stockage hébergé, l'historique partagé d'équipe et les alertes sont à l'étude, pas en construction. Il n'y a pas de tarification et rien à acheter. Si un historique partagé vous serait utile, la liste d'attente est notre moyen de savoir si cela vaut la peine d'être construit — elle ne vous engage à rien.

Deux engagements tiennent quoi qu'il arrive : rien de ce qui est gratuit aujourd'hui ne passera derrière un paywall, et aucune certification de conformité ne sera revendiquée avant d'être détenue.

Exemples

• Configuration Claude Desktop — Configuration MCP pour les modes stdio et HTTP
• TypeScript — Client SDK MCP — connexion et invocation des outils
• Transport HTTP (TS + Python) — code client complet pour l'intégration de style REST
• Instrumentation LangChain (Python, conceptuel) — échafaudage montrant la forme ; nécessite que votre code d'agent soit exécutable
• Instrumentation CrewAI (Python, conceptuel) — échafaudage ; même avertissement

Communauté

• GitHub Issues — Signalements de bugs et demandes de fonctionnalités
• GitHub Discussions — Questions et idées
• Guide de contribution — Comment contribuer
• HTTP Ingest — Capture déterministe de traces via POST /api/v1/traces
• Roadmap — Ce qui arrive ensuite

# Production deployment
iris-mcp --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

npx @iris-eval/mcp-server --self-test

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npx @iris-eval/mcp-server --dashboard
# First log line: "Starting Iris MCP server vX.Y.Z"

# If using npx (clears cache and fetches latest)
npx --yes @iris-eval/mcp-server@latest

# If installed globally
npm update -g @iris-eval/mcp-server

node --version  # Must be v20.x or v22.x+

# Correct
claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx @iris-eval/mcp-server"

Si Iris vous est utile, envisagez de mettre une étoile au dépôt — cela aide d'autres personnes à le trouver.

Sous licence MIT.