Iris

Iris — ajanları hislere göre yayınlamayı bırakın

Iris, her ajan çalıştırmasını kalite, güvenlik ve maliyet açısından puanlar — kendi makinenizde, SDK gerektirmeden ve hesap açmadan. Çoğu ajan projesi kaliteyi, birkaç hatırlanan istemi çalıştırıp çıktıya göz atarak kontrol eder. Iris bunun yerine denetleyebileceğiniz sayılar sunar: ajanınızın çalıştırmaları diskinizdeki bir SQLite veritabanına kaydedilir, 25 yerleşik kural bunları deterministik olarak puanlar — PII, istem enjeksiyonu, halüsinasyon işaretleri, maliyet eşikleri ve ajanın kendi araç çağrıları — ücretsiz, LLM çağrısı olmadan ve isteğe bağlı bir LLM yargıcı, sert bir değerlendirme başına maliyet sınırıyla anlamsal soruları ele alır. Her kural incelenebilir ve düzenlenebilir, çünkü denetleyemediğiniz bir yargıç, üzerinde sayı olan hislerden başka bir şey değildir. MIT lisanslı, telemetri yok. Şunlardan birini açmadığınız sürece hiçbir şey makinenizden çıkmaz: adlandırdığınız toplayıcıya izleri dışa aktaran bir OpenTelemetry uç noktası (IRIS_OTEL_ENDPOINT); kendi anahtarınızla, yargıladığı metni o sağlayıcıya gönderen ve alıntı kontrolü, bir çıktının alıntıladığı sayfaları getiren LLM yargıcı; veya ayarladığınız adrese kimlikleri, kararı ve kural adlarını gönderen, metni asla göndermeyen bir webhook.

Node.js 22.13 veya sonrası gerekir. node --version ile kontrol edin.

_{scripts/demo-media.mts tarafından kaydedilen demo veritabanı; kaynak demo.mp4. Bir görüntü: dashboard-overview.png.}

60 saniyede ekranda bir hata

Ajan bağlantısı yok, yapılandırma yok — tek komut:

npx @iris-eval/mcp-server --demo

Bu, bir demo veritabanını besler — beş küçük ajan, iki haftalık çalıştırma, her karar motorun kendisine ait — ve panoyu buna karşı http://localhost:6920 adresinde sunar (tarayıcınız ilk çalıştırmada otomatik açılır). Pano Hatalar sayfasına iner: ne başarısız oldu, en kötü ve en yeni önce, her kart kuralı ve kanıtını adlandırır. Tıklamaya değer — güvenlik kuralları tarafından yakalanan bir PII sızıntısı, özetleyicinin uyduğu bir forum gönderisindeki gizli bir yönerge, kaynak belgenin asla söylemediği bir sayı, aynı on iki soruda iki çalıştırmanın bir aralıkla karşılaştırılması (Çalıştırmalar), denetim satırlarıyla dağıtılmış bir özel kural ve duraklatılmış bir kural ve gerekçesiyle başarısız bir LLM yargıcı puanı.

Demo verileri kendi veritabanında yaşar (Iris ana dizininizde demo.db — macOS/Linux'ta ~/.iris, Windows'ta %USERPROFILE%\.iris) ve gerçek izlerinizle asla karışmaz. Hepsini tek komutla kaldırın:

npx @iris-eval/mcp-server --demo-clear

Kendi ajanınızı bağlayın

Önce kurulumun bu makinede çalıştığını kanıtlayın — çevrimdışı çalışır ve sizin hiçbir şeyinizi açmaz:

npx @iris-eval/mcp-server --self-test   # exit 0 = healthy

Ardından Iris'i MCP istemcinize ekleyin. Tek komut, istemcinin kendi yapılandırma dosyasını yazar, içindeki diğer her sunucuyu korur ve çalıştırdığınız sürümü sabitler:

npx -y @iris-eval/mcp-server install claude-code

İstemciler: claude-code, claude-desktop, cursor, windsurf, continue, vscode, cline, zed, codex, gemini. install --list, bu makinede bulunanları, her birinin çalıştırdığı Iris'i ve okuduğu dosyayı gösterir; install <client> --uninstall Iris'i tekrar kaldırır. Her istemci tek bir veritabanını paylaşır, bu nedenle bir yükseltmeden sonra hepsini install --upgrade ile aynı anda taşıyın (Güncelleme). Yüklemek için istemciyi yeniden başlatın.

Claude Desktop: tek tık. 0.20.0'dan itibaren her sürüm, bir MCP Paketi olan iris-eval.mcpb ekler: en son sürümü indirin, açın ve Claude Desktop bir kurulum iletişim kutusu gösterir. Üzerinde hiçbir şey zorunlu değildir — LLM yargıcı için bir Anthropic veya OpenAI anahtarı isteğe bağlıdır ve pano, kapalı başlayan bir anahtardır. Paket, npm paketini ve bağımlılıklarını içerir, bu nedenle başka hiçbir şey kurulması gerekmez: Claude Desktop, Node'u 22.13 veya daha yeni olduğunda gönderdiği Node altında çalıştırır (Claude Desktop 1.1.6679, 24.13'ü gönderir) ve Iris, izleri Node'un yerleşik SQLite'ı ile, diğer her kurulumun kullandığı aynı ~/.iris içinde saklar. Sürüm notları, imzasını ve derleme kanıtını nasıl doğrulayacağınızı gösterir.

Herhangi bir MCP istemcisinde çalışır ve adlandırdığı her istemcinin, gerçekte neyin kontrol edildiğine dair bir satırı vardır. Her CI çalıştırmasında doğrulandı: Claude Code, Gemini CLI — gerçek istemci, yükleyicinin yazdığı yapılandırmadan Iris'i başlatır ve bağlandığını bildirir (claude mcp list, gemini mcp list), Linux, macOS ve Windows'ta; Claude Code'un yakalama eklentisi kancaları da gerçek betikler aracılığıyla çalıştırılır. Her istemcinin kendi MCP belgelerinden iddia edildi — yükleyici, istemcinin belgelediği yapılandırma şeklini yazar ve bu yazıcı, şekil üzerinde test edilir; Iris tarafında kimse bağlandığını izlememiştir: Claude Desktop, Cursor, Devin Desktop (Windsurf), Continue, VS Code, Cline, Zed, OpenAI Codex CLI. Kaynağı ve okunduğu tarihle birlikte her satır: https://iris-eval.com/clients. Bunun yerine elle, pano dahil tek blok:

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

İstemciniz bağlandığında Iris'in on iki aracını listeler ve pano http://localhost:6920. adresinde sunulur. Şimdi bunu ajanınıza yapıştırın:

Son görevi Iris'e kaydedin ve çıktıyı değerlendirin.

İz, puanlarıyla birlikte panoya düşer. MCP sunucusunu başsız mı tercih edersiniz? Bağımsız değişkenlerden --dashboard öğesini çıkarın — aynı panoyu istediğiniz zaman npx @iris-eval/mcp-server --dashboard ile açabilirsiniz.

Baştan bilmeye değer bir şey: MCP araçları, model onları çağırmaya karar verdiğinde çağrılır. Iris ajanınızı engellemez, bu nedenle izler, ajanınız onları kaydetmesini istediğinde kaydedilir — ona söylediğiniz için veya kodunuz araçları doğrudan çağırdığı için. Ajanınızdan "bunu Iris'e kaydet ve değerlendir" diye isteyin, yapacaktır. Modele bağlı olmayan yakalama istiyorsanız, POST /api/v1/traces tam olarak bunu yapar — kodunuz izi düz HTTP üzerinden gönderir, döngüde model yoktur (bkz. docs/http-ingest.md). Yol haritasındaki CLI ve ana bilgisayar kancaları, aynı uç nokta üzerinde ince istemciler olacaktır.

HTTP üzerinden yakalama (döngüde model yok)

Alım uç noktası pano bağlantı noktasında yaşar — varsayılan olarak 6920, MCP taşıma bağlantı noktasında değil — ve yalnızca pano çalışırken var olur. --dashboard öğesini geçirin (veya IRIS_DASHBOARD=true ayarlayın); tek başına --transport http onu başlatmaz ve taşıma bağlantı noktasına yapılan bir istek 404 döndürür. Pano açıkken, HTTP isteği gönderebilen her şey bir iz kaydedebilir — ve isteğe bağlı olarak aynı istekte deterministik değerlendirmeleri çalıştırabilir. Aynı bağlantı noktasındaki GET /api/v1/capabilities, bu sunucunun neyi yargılayabileceğini, her kuralın neye ihtiyaç duyduğunu, onu etkinleştiren adımlarla yargıç durumunu ve sınırları söyler — MCP kaynağı iris://capabilities öğesinin sunduğu aynı nesne — böylece bir HTTP çağıranı, bir MCP istemcisinin başlatma sırasında aldığı çerçeveye sahip olur:

curl -s -X POST "http://127.0.0.1:6920/api/v1/traces" \
  -H "Content-Type: application/json" \
  -d '{
    "agent_name": "support-bot",
    "input": "What is the refund policy?",
    "output": "Refunds are available within 30 days of purchase.",
    "evaluate": true,
    "eval_type": "safety"
  }'

Depolanan trace_id ve değerlendirme sonucuyla 201 döndürür (--demo modunda uç nokta, 403 ile yazmaları reddeder, böylece demo verileri sizinkilerle asla karışmaz). Uç nokta, log_trace aracıyla aynı gövdeyi kabul eder ve panonun geri kalanıyla aynı ara katman yığınının arkasında oturur: varsayılan olarak geri döngü bağlama ve DNS yeniden bağlama koruması, ayrıca bir anahtar ayarladığınızda Bearer kimlik doğrulaması. Onunla ilgili iki yalın gerçek: Iris --api-key (veya IRIS_API_KEY) ile başlatılmadıysa kimlik doğrulamasız yazmaları kabul eder — geri döngü bağlama, onu varsayılan olarak makinenizde tutan şeydir, bu nedenle geri döngünün ötesine bağlamadan önce bir anahtar ayarlayın; ve sakladığı şey aynen olduğu gibidir — input ve output, iris.db içine tam olarak gönderildiği gibi düşer, no_pii öğesinin işaretleyeceği herhangi bir metin dahil. Tam sözleşme, alan referansı ve hata anlamları: docs/http-ingest.md.

Her Claude Code turunu yakalayın (isteğe bağlı)

/plugin marketplace add iris-eval/mcp-server
/plugin install iris-eval-capture@iris-eval

Ayrıca kurulan ikinci bir eklenti: üç kanca, her turun istemini, araç çağrılarını ve son yanıtını kaydeder ve bunları iris-eval ingest öğesine, ayrılmış olarak, saklanan değerlendirme metninde kritik aralıklar karartılmış olarak iletir — modele bir araç çağırma kararına bağlı olmayan yakalama. Modelin zaten kaydettiği bir turu asla kaydetmez, asla yazdırmaz, asla engellemez, asla hiçbir yere hiçbir şey göndermez. Tek başına iris-eval kurmak, tur döngünüz hakkında hiçbir şeyi değiştirmez. Sınırlar ve kaldırma: claude-plugin-capture/README.md.

Python

pip install iris-eval

from iris_eval import IrisClient
iris = IrisClient()                       # IRIS_URL, or the running dashboard's runtime.json
iris.evaluate_output("…", input="…", agent_name="support-bot")["verdict"]   # {"state": "pass", "basis": "clean", "by": []}

Sunucu 0.16.0 ve sonrasının HTTP API'si üzerinde ince bir istemci, kendi başına sürümlenir — iris_eval.__version__ ve PyPI sayfası, sunucununki olmayan numarasını taşır: log_trace(), evaluate_output(), get_traces(), get_trace(), health(), capabilities(), senkron ve asenkron, yazılmış yanıtlar, bir reddetme konusunda sunucunun kendi cümlesi — ve bir pytest eklentisi: bir iris fikstürü ve kararın durumunu iddia eden assert_iris(output, expect="pass"). packages/python/README.md.

Her OpenAI ve Anthropic çağrısını kaydedin

from iris_eval import wrap_openai
client = wrap_openai(OpenAI(), agent_name="support-bot")   # every call: a GenAI span to POST /v1/traces, scored

import { wrapOpenAI } from '@iris-eval/sdk';
const openai = wrapOpenAI(new OpenAI(), { agentName: 'support-bot' });

Sağlayıcı istemcisini bir kez sarın ve her model çağrısı, OTLP kapısına gönderilen bir OpenTelemetry GenAI aralığı haline gelir, girdisi, çıktısı, belirteç kullanımı ve araç çağrılarıyla saklanır ve puanlanır: modele bir araç çağırma kararına bağlı olmayan yakalama. Python istemcisinde wrap_openai / wrap_anthropic; @iris-eval/sdk içindeki Vercel AI SDK için wrapOpenAI, wrapAnthropic ve irisMiddleware. Her ikisi de henüz yayınlanmadı (PyPI'deki bir sonraki iris-eval sürümü; @iris-eval/sdk, ilk npm sürümüne kadar kaynaktan derlenir). Akışlar, SDK'ların akış yardımcıları ve araç çağrıları kapsanır, orijinal istemci değiştirilmez ve Iris'in kapalı olması bir çağrıyı asla bozmaz — packages/sdk/README.md, packages/python/README.md.

Her LangChain ve LangGraph çalıştırmasını puanlayın

from iris_eval.langchain import IrisCallbackHandler
graph.invoke(inputs, config={"callbacks": [IrisCallbackHandler(agent_name="support-bot")]})

Her üst düzey çalıştırma, girdisi, çıktısı, araç çağrıları, belirteç kullanımı ve bir kararla birlikte tek bir iz haline gelir (çalıştırma, model çağrıları, araç çağrıları ve grafik düğümleri GenAI aralıkları olarak). İstemcide Python (sonraki sürüm, henüz PyPI'ye yayınlanmadı), JavaScript @iris-eval/langchain olarak (henüz npm'ye yayınlanmadı). Her ikisi de CI'da, betikli bir modelle gerçek bir LangGraph uygulamasına karşı kanıtlanmıştır; LangSmith'in kendi OpenTelemetry dışa aktarımı da aynı şekilde kanıtlanmıştır — docs/otel-recipes.md.

Sunucu gerektirmeyen bir CI kapısı

npx -y @iris-eval/mcp-server ingest --file traces.ndjson --evaluate --fail-on detector_veto

Veya adlandırdığınız kararlarda işi başarısız kılan, makbuzu iş özetine yazan ve yerinde güncellenen tek bir çekme isteği yorumu olarak gönderen GitHub Eylemi (0.16.0): uses: iris-eval/mcp-server/.github/actions/gate@v0.19.0 ile traces: traces.ndjson — docs/ci-gate.md. Dördüncü bir kapı (0.15.0): POST /v1/traces pano portunda, OpenTelemetry enstrümantasyonunuzun zaten yaydığı OTLP/HTTP JSON veya protobuf'u alır (Python SDK'sının dışa aktarıcısı yalnızca protobuf konuşur, bu yüzden bu Python kapısıdır da) ve her OTLP izi, span'larıyla birlikte bir Iris izi haline gelir — docs/otel-integration.md; her çerçeve için bir tarif (Pydantic AI, Google ADK, LangSmith üzerinden LangGraph, CrewAI, Python ve JavaScript'te OpenAI Agents SDK, LlamaIndex, AutoGen, Microsoft Agent Framework, Semantic Kernel, Vercel AI SDK ve Mastra), her biri bir fikstürle kanıtlanmış, docs/otel-recipes.md içinde. ingest stdin'den veya bir dosyadan tek bir JSON izini (veya satır başına bir tane NDJSON) okur, saklar, evaluate_output'ün çalıştırdığı kuralların tam olarak aynısı altında değerlendirir, iz başına karar ve gerekçesiyle tek bir JSON satırı yazdırır ve bir karar --fail-on ile eşleştiğinde 1 ile çıkar. --dataset <id|label> bu kapıyı bir veri kümesindeki vaka anahtarlarıyla sınırlar (POST /api/v1/datasets bir çalıştırmanın vaka anahtarlarını bir tanesine yükseltir), böylece bir iş yalnızca seçtiğiniz vakalarda başarısız olur. Tam tarif, çıkış kodları ve sekiz gerekçe docs/ci-gate.md içindedir.

Bir kuralı kod olarak yazın

eval.plugins içinde config.json, yüklediğiniz kuralları yükler — varsayılan dışa aktarımı { name, kind, mechanism, version, needs, evaluate(ctx) } olan bir ES modülü — dosyanın sha256'sı ile sabitlenir, böylece sabitlediğinizden beri değişen bir dosya, çalışmak yerine başlatmayı reddeder. Yüklenen bir eklenti, yerleşik bir kural gibi tetiklenir ve list_rules altında plugins üzerinde görünür. Sözleşme, hash tarifi ve bir eklentinin neler döndürebileceği: docs/plugins.md.

Motoru kendi sürecinizde kullanın

Değerlendirme motoru içe aktarılabilir — sunucu yok, veritabanı yok, model yok:

import { EvalEngine, defaultConfig } from '@iris-eval/mcp-server/engine';

const engine = new EvalEngine(defaultConfig.eval.defaultThreshold, defaultConfig.eval.ruleThresholds, defaultConfig.eval);
const result = await engine.evaluateAll({ output: answer, input: prompt, toolCalls, costUsd });
result.verdict.state;       // 'pass' | 'fail' | 'unknown', with result.verdict.basis and result.interpretations

Sunucunun çalıştırdığı aynı motor, aynı kurallar ve aynı besteci; builtInRules(), createCustomRule(), compose() ve yayınlanmış doğruluk okuyucuları onun yanında dışa aktarılır.

HTTP rotası için yazılmış bir istemci

import { createClient } from '@iris-eval/mcp-server/client';

const iris = createClient({ baseUrl: 'http://127.0.0.1:6920', apiKey: process.env.IRIS_API_KEY });
const { trace_id, evaluation } = await iris.logTrace({ agent_name: 'support-bot', input, output, tool_calls, evaluate: true });
evaluation?.verdict?.state;  // the same object evaluate_output returns

Her kapıda tek bir gövde: log_trace ve iris-eval ingest'nin kabul ettiği şey budur. Bir ret, sunucunun kendi cümlesi ve durumuyla IrisClientError fırlatır. Her iki alt yol da her derlemede paketlenmiş bir tarball'dan kontrol edilir.

Kurulumunuzu doğrulayın

npx @iris-eval/mcp-server --self-test   # offline diagnostic; exit 0 = healthy, 1 = a check failed
npx @iris-eval/mcp-server --version     # prints the bare version, e.g. 1.2.3

--self-test önce Iris eviniz yoksa oluşturur ve yazılabilir olduğunu kontrol eder (değilse, yolu belirterek 1 ile çıkar), veritabanınızın arama dizininin nerede olduğunu bildirir (bütün, arka plan derlemesinin şimdiye kadar kaç iz dizinlediği veya bu SQLite'da FTS5 yok), veritabanınızın şemasını okur (bu sürüm veya daha eski bir sürüme sabitlenmiş bir MCP istemcisi onu açamadığında, düzeltmeyle 1 ile çıkar), ardından kontrollerini çalıştırır — depolama gidiş-dönüşü, güvenlik kuralları tarafından yakalanan ekilmiş bir SSN ve ekilmiş bir enjeksiyon, pano başlatma, DNS-rebinding koruması — izole bir geçici ev içinde. Gerçek veritabanınız yalnızca okunur, asla değiştirilmez. Iris'in yazdığı her şey tek bir dizin altında, Iris eviniz altında yaşar: varsayılan olarak ~/.iris (Windows'ta %USERPROFILE%\.iris) veya IRIS_HOME'nin işaret ettiği her yerde. iris.db, config.json, custom-rules.json, audit.log, preferences.json ve demo dosyaları orada yaşar; gerçek verilerinize dokunmadan Iris'i denemek için IRIS_HOME'i bir karalama dizinine yönlendirin.

claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

{
  "servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"]
    }
  }
}

{
  "context_servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"],
      "env": {}
    }
  }
}

[mcp_servers.iris-eval]
command = "npx"
args = ["-y", "@iris-eval/mcp-server"]

Diğer Kurulum Yöntemleri

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-eval --dashboard

# Docker — two servers, two ports: 3000 = MCP HTTP transport,
# 6920 = dashboard (which also serves the POST /api/v1/traces ingest endpoint).
# The image binds 0.0.0.0 inside the container, so a key is required (see Production).
# The volume is the Iris home: the database, deployed rules and audit log persist in it.
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

İpucu: Global kurulum (npm install -g) izleri kalıcı olarak ~/.iris/iris.db konumunda saklar. npx ile izler aynı konumda kalıcı olur, ancak paket çözümlemesi nedeniyle başlatma daha yavaştır.

Ne Elde Edersiniz

Bunun nereye gittiği: yetenek haritası — Iris'e her konu hakkında sorulabilecek her soru, neye sahip olduğu ve neyin eksik olduğuyla — ve üç yol.

Ölçüldü, iddia edilmedi

Her yerleşik kuralın, bu depoda (proof/corpus/) bulunan ve tek bir komutla (npm run proof) çevrimdışı olarak, anahtar veya model olmadan yeniden üretilen etiketli bir derlem üzerinde ölçülen, %95 güven aralıklarıyla yayınlanmış bir kesinlik, geri çağırma ve F1 değeri vardır. Bu sayılar iki farklı türdedir ve sayfa bunları asla birbirine eklemez: bazı kurallar, bir modelin hatayı okuyarak verdiği etiketlere karşı ölçülür; bu, algılamayı ölçer; geri kalanı, bağımsız olarak uygulanan kendi belgelenmiş tanımlarına karşı kontrol edilir; bu, kodun formülünü uyguladığını gösterir ve formülün hatayı yakalayıp yakalamadığı hakkında hiçbir şey söylemez. proof/RESULTS.md ve kanıt sayfası her kuralı işaretler. CI, her çekme isteğinde ölçümü yeniden çalıştırır ve taahhüt edilen sayılar kodun ürettiğinden farklıysa başarısız olur; böylece bir kural, sayıları da değişmeden değişemez. Sayılar iris-eval.com/proof ve proof/RESULTS.md adresindedir; derlemin nasıl yapıldığı, ne olmadığı ve bir aralığın nasıl okunacağı docs/proof.md içindedir. Derlem sentetiktir ve model etiketlidir — insan kör etiketi beklenmektedir ve sayfa bunu belirtir; node proof/blind-sample.mjs bunu çözecek yeniden üretilebilir örneği çizer.

MCP Araçları

Iris, herhangi bir MCP uyumlu aracının çağırabileceği on iki araç kaydeder — iz ve kural yaşam döngüsü, çalıştırmalar arası karşılaştırma, LLM yargıç ve anlamsal alıntı doğrulama:

• log_trace — Bir aracı yürütmesini aralıklar, araç çağrıları, token kullanımı ve maliyetle günlüğe kaydedin; aynı çağrıda puanlamak için evaluate: true geçirin
• evaluate_output — Çıktı kalitesini eksiksizlik, alaka düzeyi, güvenlik ve maliyet kurallarına göre puanlayın (sezgisel, deterministik, ücretsiz)
• get_traces — Filtreleme, sayfalama ve zaman aralığı desteğiyle saklanan izleri sorgulayın ve aracının q ile bir şey söylediği çalıştırmayı bulun: girdi, çıktı, araç çağrısı değerleri ve meta veriler üzerinde sıralanmış, eşleşen kelimeler işaretlenmiş tam metin araması
• list_rules — Dağıtılmış özel değerlendirme kurallarını numaralandırın (salt okunur)
• deploy_rule — Bu kategorinin her evaluate_output değerinde tetiklenmesi için yeni bir özel değerlendirme kuralı kaydedin
• delete_rule — Dağıtılmış bir özel kuralı kaldırın (yıkıcı, idempotent)
• delete_trace — Tek bir saklanan izi kimliğe göre kaldırın (yıkıcı, kiracı kapsamlı)
• evaluate_with_llm_judge — LLM (Anthropic veya OpenAI) aracılığıyla anlamsal değerlendirme. Yedi şablon: doğruluk, yardımseverlik, güvenlik, doğruluk, sadakat, görev_tamamlandı, alaka düzeyi. Maliyet sınırlı, değerlendirme başına fiyatlandırma açıklanır. Kendi API anahtarınızı getirin (IRIS_ANTHROPIC_API_KEY veya IRIS_OPENAI_API_KEY) — Iris LLM çağrılarını proxy'lemez veya aktarmaz.
• verify_citations — Çıktıdan alıntıları çıkarın (numaralı, yazar-yıl, URL'ler, DOI'ler), SSRF korumalı + alan adı beyaz listeli bir çözücünün arkasındaki kaynakları getirin ve her kaynağın alıntılanan iddiayı gerçekten destekleyip desteklemediğini kontrol etmek için bir LLM yargıç kullanın. Opt-in giden HTTP. evaluate_with_llm_judge ile aynı BYOK gereksinimi.
• compare_runs — Bir değişiklik aracıyı daha kötü yaptı mı? Saklanan değerlendirmelerin iki çalıştırmasını karşılaştırır: çalıştırmalar vaka anahtarlarını paylaştığında eşleştirilmiş kesin bir test, aksi takdirde fark üzerinde bir aralık, alacağı vaka sayısıyla dürüst bir "söyleyemem" veya "bir marj içinde eşdeğer". Her kural, birlikte düzeltilen (Benjamini–Hochberg) kendi tek taraflı testini taşır; böylece yirmi kural bir gerileme üretemez
• compare_traces — Aracı aynı soruyu ne kadar güvenilir yanıtlıyor? Aralıklarla vaka başına geçme oranları, önce kararsız vakalar ve tekrarlara saygı gösteren genel bir oran
• evaluate_runs — Bir çalıştırmadaki her izi bugünün kuralları altında yeni bir çalıştırmaya yeniden puanlayın; böylece bir kural değişikliği asla bir aracı değişikliği olarak okunmaz

LLM yargıcını etkinleştirin (isteğe bağlı; deterministik kurallar asla buna ihtiyaç duymaz)

1. Anthropic veya OpenAI'dan bir API anahtarı alın.
2. Onu yalnızca kabuğunuzun değil, Iris'i çalıştıran sürecin ortamına koyun. Claude Code, Claude Desktop, Cursor ve çoğu MCP istemcisi: MCP yapılandırmanızdaki iris-eval girişinin "env" bloğu — "iris-eval": { "command": "npx", "args": ["-y", "@iris-eval/mcp-server"], "env": { "IRIS_ANTHROPIC_API_KEY": "sk-ant-..." } } (OpenAI anahtarı için IRIS_OPENAI_API_KEY). Docker: çalıştırma komutunda -e IRIS_ANTHROPIC_API_KEY=... HTTP veya CI: iris-eval'i başlatmadan önce dışa aktarın.
3. MCP oturumunu yeniden başlatın. Çalışan bir süreç, başladıktan sonra ayarlanan bir değişkeni asla görmez.
4. İstemcinizden onaylayın: iris://capabilities okuyun — judge.enabled orada true olmalıdır. Kabuğunuzda dışa aktarılan bir anahtar, yapılandırması onu listelemedikçe istemcinizin başlattığı sürece iletilmez. Bir makinede, npx @iris-eval/mcp-server --self-test o kabuk için yargıç satırını yazdırır ve GET /api/v1/health çalışan bir panoda judge.enabled raporlar.
5. Harcama koruması: her çağrı IRIS_LLM_JUDGE_MAX_COST_USD_PER_EVAL (varsayılan 0,25 USD) ile sınırlandırılmıştır ve en kötü durum bunu aşarsa herhangi bir harcamadan önce reddedilir. Iris, sağlayıcıyı anahtarınızla doğrudan çağırır ve asla proxy'lemez.
6. İsteğe bağlı: answers_the_ask'ın her yanıtın sorusunu ele alıp almadığını yargıca sorması ve konu dışı olanı başarısız sayması için IRIS_RELEVANCE_JUDGE_MODEL'i fiyatlandırılmış bir model kimliğine (örneğin claude-haiku-4-5) ayarlayın. Bu, girdi taşıyan her değerlendirme için anahtarınızda ve yukarıdaki sınır altında bir yargıç çağrısıdır; anahtar tek başına onu asla açmaz. Her çağrı, kişisel verileri ve kimlik bilgileri no_pii bayrakları önce değiştirilerek (IRIS_RELEVANCE_JUDGE_REDACT=off onları olduğu gibi gönderir) bu girdiyi ve çıktıyı modelin sağlayıcısına gönderir. UTC günü başına en fazla IRIS_RELEVANCE_JUDGE_DAILY_BUDGET_USD (varsayılan 1 USD) harcar ve istek başına en fazla IRIS_RELEVANCE_JUDGE_MAX_CALLS_PER_REQUEST çağrı yapar (varsayılan 20); bunların ötesinde, answers_the_ask soruyu sözlüksel olarak okur ve nedenini söyler.

IRIS_OTEL_ENDPOINT yapılandırıldığında, log_trace çağrıları ayrıca herhangi bir OpenTelemetry toplayıcısına (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb, vb.) en iyi çaba OTLP/HTTP JSON dışa aktarımı yayar. docs/otel-integration.md bölümüne bakın.

passed nasıl belirlenir

evaluate_output hem bir score hem de bir passed bayrağı döndürür — farklı soruları yanıtlarlar:

• score (0..1), çalıştırılan kurallar arasındaki ağırlıklı ortalamadır — bir kalite gradyanı.
• passed gönder/gönderme kararıdır ve puan bunun için asla dikkate alınmaz. Bir besteci her kuralı yaptığı iddia türüne göre okur: yapılandırdığınız bir ilke kapıları; kritik bir dedektör veto eder; sorulan ve yanıtlayamayan kritik bir kontrol, kararı temiz yerine bilinmiyor (passed: false) yapar; kalan her dedektör, eval.falsePassCost içinde belirttiğiniz kayıp oranına karşı tartılan çıktının kötü olma olasılığında birleşir (varsayılan 1, yani kesim 0,5'tir). verdict.basis karar veren katmanı ve verdict.by kuralları adlandırır ve verdict.also onu da kararlaştıracak olan sonraki her katmanı listeler; interpretations[] başarısız olan bir kuralın neden karar vermediğini ve hangi ayarın bunu değiştireceğini söyler ve yargılanmayan herhangi bir soruyu ve buna izin verecek girdiyi adlandırır.

Gerçek güvenlik ihlalleri sert başarısız olur. Varsayılan olarak no_pii, no_injection_patterns ve no_blocklist_words kritik kurallardır: biri başarısız olursa, değerlendirme diğer kurallar ne kadar iyi puanlanırsa puanlansın passed: false raporlar ve yanıt suçluları critical_failures içinde adlandırır. Sızdırılmış bir SSN ortalamayla yok edilemez. Hangi yerleşik kuralların kritik olduğu bir dağıtım ayarıdır (eval.criticalRules / eval.nonCriticalRules); her kural sonucu etkili critical bayrağını ve criticalSource değerini taşır ve list_rules bu sunucunun uyguladığı listeyi raporlar. severity: "high" veya "critical" ile dağıtılan özel kurallar aynı şekilde sert başarısız olur; low/medium önem düzeyleri yalnızca puanı etkiler. Her yüzeyde aynı şekilde belirtilen bir sınırı bilin: atlanan kritik bir kural (eksik bağlam, bozuk bir tanım veya kum havuzu bütçesinde öldürülen bir regex) çıktıyı yargılamamıştır ve veto etmez — bu tür her kural critical_skipped içinde adlandırılır. Kapanışta başarısız olması gereken bir kapı, boş olmayan bir critical_skipped değerini temiz değil bilinmiyor olarak ele alır ve rule_results içindeki herhangi bir budgetExceeded atlamasını aynı şekilde ele alabilir.

CI kapıları için: eval_type değerini atlarsanız, her paket çalışır — eksiksizlik, alaka düzeyi, güvenlik, maliyet ve özel kurallar — ve yanıt, varsayılanın çalıştığını belirten bir note ile eval_type: "all" ve paket başına bir categories haritası söyler. Yargılayacak hiçbir şeyi olmayan bir paket (cost_usd olmadan maliyet, input olmadan alaka düzeyi) orada passed: null raporlar — değerlendirilmedi, başarısız değil — ve karara asla sayılmaz. Yanıt her zaman çalıştırılan eval_type değerini yansıtır, böylece kapınız kapsamı doğrulayabilir; karar için passed anahtarına basın ve yalnızca daha dar bir çalıştırma istediğinizde bir paket adlandırın.

Özel bir kural yazma

Kural eklemenin iki yolu. Satır içi kurallar tek bir evaluate_output çağrısında (custom_rules, çağrı başına en fazla 10) taşınır; seçtiğiniz eval_type paketinin yanında veya eval_type: "custom" ile tek başına tetiklenirler. Dağıtılmış kurallar deploy_rule ile bir kez kaydedilir, Iris eviniz altında custom-rules.json içinde kalıcı olur ve evalType değerinin her gelecekteki evaluate_output değerinde tetiklenir. Tanım her iki durumda da aynı şekildedir:

deploy_rule tanımı name, isteğe bağlı bir description, evalType (completeness · relevance · safety · cost · custom) ve severity ile sarar. Önem düzeyi bir başarısızlığın ne anlama geldiğini söyler: low/medium yalnızca puanı düşürür; high/critical değerlendirmeyi sert başarısız yapar — passed: false, critical_failures içinde adlandırılan kural — ağırlıklı puan ne derse desin. Atlanan bir kural (cost_usd olmayan bir cost_threshold kuralı veya 100 ms kum havuzu bütçesinde öldürülen bir regex) çıktıyı yargılamamıştır ve bunun yerine critical_skipped içinde listelenir. Aracının söylediği her şeyde dahili ana bilgisayar adlarını yasaklayan kritik bir kural dağıtın:

{
  "name": "no_internal_hostnames",
  "description": "Output must not mention internal hostnames.",
  "evalType": "safety",
  "severity": "critical",
  "definition": {
    "name": "no_internal_hostnames",
    "type": "regex_no_match",
    "config": { "pattern": "\\b[a-z0-9-]+\\.internal\\.example\\b", "flags": "i" }
  }
}

Yanıt, kalıcı kuraldır — delete_rule için id değerini saklayın:

{ "rule": { "id": "rule-588823d0", "name": "no_internal_hostnames", "evalType": "safety", "severity": "critical", "enabled": true, "version": 1, "definition": { "…": "…" } } }

eval_type: "safety" ile bir sonraki evaluate_output değerinden itibaren, db-primary.internal.example değerinden bahseden bir çıktı, beş yerleşik güvenlik kuralının tümü geçmiş ve ağırlıklı puan 0,895 olsa bile passed: false ve critical_failures: ["no_internal_hostnames"] ile geri gelir. Regex desenleri dağıtım sırasında bir ReDoS kontrolünden geçmeli ve her zaman 100 ms'lik sabit bir son tarih altında bir kum havuzu çalışanında çalışmalıdır. list_rules neyin dağıtıldığını gösterir; panelin kural bestecisi, tıkladığınız bir başarısızlıktan aynı şekli oluşturur. Tam referans, tür başına puanlama ve çalışılmış örnekler: docs/custom-rules.md.

Tam araç şemaları ve yapılandırma: iris-eval.com

Barındırılan özellikler

Iris bugün tamamen makinenizde çalışır ve yaptığı her şey ücretsizdir, MIT lisanslıdır, sınır veya hesap yoktur. Hosted depolama, paylaşılan ekip geçmişi ve uyarılar değerlendirme aşamasındadır, yapım aşamasında değildir. Herhangi bir fiyatlandırma yoktur ve satın alınacak bir şey yoktur. Paylaşılan geçmiş sizin için yararlı olacaksa, bekleme listesi bunu inşa etmeye değip değmeyeceğini öğrenme yöntemimizdir — sizi hiçbir şeye bağlamaz.

Yine de iki taahhüt geçerlidir: bugün ücretsiz olan hiçbir şey ödeme duvarının arkasına taşınmayacaktır ve henüz sahip olunmayan hiçbir uyumluluk sertifikası talep edilmeyecektir.

Örnekler

• Claude Desktop kurulumu — stdio ve HTTP modları için MCP yapılandırması
• TypeScript — MCP SDK istemcisi — araçlara bağlanın ve çağırın
• HTTP taşıma (TS + Python) — REST tarzı entegrasyon için tam istemci kodu
• LangGraph ajanı, çalıştırma çalıştırma puanlanır (Python) — grafiğin geri çağrılarında IrisCallbackHandler; CI, aynı grafiği betiklenmiş bir modelle çalıştırır
• OpenTelemetry üzerinde CrewAI ekibi (Python) — OpenInference enstrümantörü doğrudan Iris'in OTLP kapısına, CrewAI tarifi bir betik olarak
• OpenTelemetry üzerinde OpenAI Agents SDK ajanı (Python) ve (JavaScript) ve bir LlamaIndex ajanı — her tarif, CI'nin gerçek bir Iris sunucusuna karşı çalıştırdığı betik olarak

Topluluk

• GitHub Issues — Hata raporları ve özellik istekleri
• GitHub Discussions — Sorular ve fikirler
• Katkıda Bulunma Rehberi — Nasıl katkıda bulunulur
• HTTP Ingest — POST /api/v1/traces aracılığıyla deterministik iz yakalama
• Yetenek haritası — Iris'e sorulabilecek her soru ve eksik oldukları
• Sürüm politikası — Her sürüm numarasının ne vaat ettiği ve 1.0'dan önce neyin doğru olması gerektiği

# Production deployment
iris-eval --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

# The image: pass a key
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

# Compose: the file requires the variable and refuses before the container starts
IRIS_API_KEY="$(openssl rand -hex 32)" docker compose up

# A network you have already fenced some other way: run open, on purpose
IRIS_ALLOW_UNAUTHENTICATED=1 iris-eval --transport http --dashboard

npx @iris-eval/mcp-server --self-test

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npm rebuild better-sqlite3
# for a global install:
npm rebuild -g better-sqlite3

npx @iris-eval/mcp-server --version

npx -y @iris-eval/mcp-server@latest install --upgrade

node --version  # Must be v22.13.0 or newer

# Correct
claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx -y @iris-eval/mcp-server"

Iris sizin için yararlıysa, depoya yıldız vermeyi düşünün — başkalarının onu bulmasına yardımcı olur.

MIT Lisanslı.