Iris

Iris — एजेंटों को बिना ठोस आधार के शिप करना बंद करें

Iris आपके एजेंट के हर रन को गुणवत्ता, सुरक्षा और लागत के लिए स्कोर करता है — आपकी मशीन पर, बिना किसी SDK और बिना किसी खाते के। अधिकांश एजेंट प्रोजेक्ट गुणवत्ता की जाँच कुछ याद किए गए प्रॉम्प्ट चलाकर और आउटपुट को देखकर करते हैं। Iris उसकी जगह ऐसे नंबर देता है जिन्हें आप ऑडिट कर सकते हैं: आपके एजेंट के रन आपकी डिस्क पर SQLite डेटाबेस में जमा होते हैं, 13 अंतर्निहित नियम उन्हें निर्धारित रूप से स्कोर करते हैं — PII, प्रॉम्प्ट इंजेक्शन, हैल्यूसिनेशन मार्कर, लागत सीमाएँ — मुफ्त, बिना किसी LLM कॉल के, और एक वैकल्पिक LLM जज जिसकी प्रति-मूल्यांकन लागत की कड़ी सीमा है, सिमेंटिक प्रश्नों को संभालता है। हर नियम निरीक्षण योग्य और संपादन योग्य है, क्योंकि एक जज जिसे आप ऑडिट नहीं कर सकते, वह सिर्फ एक नंबर के साथ जुड़ी हुई अटकलें हैं। MIT लाइसेंस, कोई टेलीमेट्री नहीं; आपके ट्रेस कभी आपकी मशीन से बाहर नहीं जाते।

Node.js 20 या उससे नए संस्करण की आवश्यकता है। node --version से जाँचें।

60 सेकंड में स्क्रीन पर एक विफलता

कोई एजेंट वायरिंग नहीं, कोई कॉन्फ़िग नहीं — बस एक कमांड:

npx @iris-eval/mcp-server --demo

यह एक डेमो डेटाबेस सीड करता है — कुछ छोटे एजेंट जिनमें एक सप्ताह के रन हैं — और उसके विरुद्ध डैशबोर्ड को http://localhost:6920 पर सर्व करता है (पहले रन पर आपका ब्राउज़र स्वतः खुल जाता है)। डैशबोर्ड Failures पर खुलता है: क्या विफल रहा, पहले सबसे खराब और सबसे नए। इसमें क्लिक करना उचित है — सुरक्षा नियमों द्वारा पकड़ा गया PII लीक, एक फ़्लैग किया गया प्रॉम्प्ट-इंजेक्शन प्रयास, और उसके तर्क सहित एक विफल LLM-जज स्कोर।

डेमो डेटा अपने अलग डेटाबेस में रहता है (आपकी Iris होम डायरेक्टरी में demo.db — macOS/Linux पर ~/.iris, Windows पर %USERPROFILE%\.iris) और आपके वास्तविक ट्रेस के साथ कभी मिश्रित नहीं होता। इसे एक कमांड से पूरी तरह हटाएँ:

npx @iris-eval/mcp-server --demo-clear

अपना खुद का एजेंट कनेक्ट करें

अपने MCP कॉन्फ़िग में Iris जोड़ें। यह Claude Desktop, Claude Code, Cursor, Windsurf, Continue, VS Code, Cline, Zed, Codex CLI, Gemini CLI — और किसी भी अन्य MCP-संगत एजेंट के साथ काम करता है। एक ब्लॉक, डैशबोर्ड सहित:

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

कनेक्ट होने पर आपका एजेंट Iris के नौ टूल खोज लेता है, और डैशबोर्ड http://localhost:6920. पर सर्व होता है। अब इसे अपने एजेंट में पेस्ट करें:

उस आखिरी कार्य को Iris में लॉग करें और आउटपुट का मूल्यांकन करें।

ट्रेस अपने स्कोर के साथ डैशबोर्ड पर पहुँच जाता है। MCP सर्वर को हेडलेस पसंद है? args से --dashboard हटाएँ — आप किसी भी समय npx @iris-eval/mcp-server --dashboard के साथ वही डैशबोर्ड खोल सकते हैं।

एक बात शुरू में जान लेना उचित है: MCP टूल तब कॉल होते हैं जब मॉडल उन्हें कॉल करने का निर्णय लेता है। Iris आपके एजेंट को इंटरसेप्ट नहीं करता, इसलिए ट्रेस तब लॉग होते हैं जब आपका एजेंट उन्हें लॉग करने के लिए कहता है — या तो क्योंकि आपने उसे बताया, या क्योंकि आपका कोड सीधे टूल को कॉल करता है। अपने एजेंट से कहें "इसे Iris में लॉग करें और मूल्यांकन करें" और वह करेगा। यदि आप ऐसा कैप्चर चाहते हैं जो मॉडल के चुनाव पर निर्भर न हो, तो POST /api/v1/traces बिल्कुल वही करता है — आपका कोड ट्रेस को सादे HTTP पर भेजता है, लूप में कोई मॉडल नहीं (देखें docs/http-ingest.md)। रोडमैप पर CLI और SDK उसी एंडपॉइंट के पतले क्लाइंट होंगे।

HTTP पर कैप्चर (लूप में कोई मॉडल नहीं)

डैशबोर्ड चल रहा हो, तो कोई भी चीज़ जो HTTP अनुरोध भेज सकती है, ट्रेस लॉग कर सकती है — और वैकल्पिक रूप से उसी अनुरोध में निर्धारित मूल्यांकन भी चला सकती है:

curl -s -X POST "http://127.0.0.1:6920/api/v1/traces" \
  -H "Content-Type: application/json" \
  -d '{
    "agent_name": "support-bot",
    "input": "What is the refund policy?",
    "output": "Refunds are available within 30 days of purchase.",
    "evaluate": true,
    "eval_type": "safety"
  }'

संग्रहीत trace_id और मूल्यांकन परिणाम के साथ 201 लौटाता है। एंडपॉइंट log_trace टूल के समान बॉडी स्वीकार करता है और डैशबोर्ड के बाकी हिस्सों की तरह उसी लूपबैक-ओनली मिडलवेयर स्टैक के पीछे रहता है। पूर्ण अनुबंध, फ़ील्ड संदर्भ और त्रुटि शब्दार्थ: docs/http-ingest.md।

इंस्टॉल जाँचें

npx @iris-eval/mcp-server --self-test

एक ऑफ़लाइन इंस्टॉल डायग्नोस्टिक: स्टोरेज राउंड-ट्रिप, निर्धारित मूल्यांकन, डैशबोर्ड + DNS-रीबाइंडिंग गार्ड — सब कुछ एक अलग अस्थायी होम के अंदर, ताकि आपका वास्तविक डेटाबेस कभी न खुले। एग्ज़िट कोड 0 = स्वस्थ, 1 = कोई जाँच विफल।

claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

{
  "servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server"]
    }
  }
}

{
  "context_servers": {
    "iris-eval": {
      "command": {
        "path": "npx",
        "args": ["@iris-eval/mcp-server"]
      }
    }
  }
}

[mcp_servers.iris-eval]
command = "npx"
args = ["@iris-eval/mcp-server"]

अन्य इंस्टॉल विधियाँ

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-mcp --dashboard

# Docker — two servers, two ports: 3000 = MCP HTTP transport,
# 6920 = dashboard (which also serves the POST /api/v1/traces ingest endpoint)
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data ghcr.io/iris-eval/mcp-server

टिप: वैश्विक इंस्टॉल (npm install -g) ट्रेस को ~/.iris/iris.db पर स्थायी रूप से संग्रहीत करता है। npx के साथ, ट्रेस उसी स्थान पर बने रहते हैं, लेकिन पैकेज रिज़ॉल्यूशन के कारण स्टार्टअप धीमा होता है।

आपको क्या मिलता है

आगे कहाँ जा रहा है: रोडमैप।

MCP टूल

Iris नौ टूल पंजीकृत करता है जिन्हें कोई भी MCP-संगत एजेंट कॉल कर सकता है — पूर्ण नियम + ट्रेस जीवनचक्र + LLM-एज़-जज + सिमेंटिक साइटेशन सत्यापन:

• log_trace — स्पैन, टूल कॉल, टोकन उपयोग और लागत के साथ एजेंट निष्पादन लॉग करें
• evaluate_output — पूर्णता, प्रासंगिकता, सुरक्षा और लागत नियमों के विरुद्ध आउटपुट गुणवत्ता स्कोर करें (ह्यूरिस्टिक, निर्धारित, मुफ्त)
• get_traces — फ़िल्टरिंग, पेजिनेशन और समय-सीमा समर्थन के साथ संग्रहीत ट्रेस क्वेरी करें
• list_rules — तैनात कस्टम मूल्यांकन नियमों की सूची बनाएं (केवल-पठन)
• deploy_rule — एक नया कस्टम मूल्यांकन नियम पंजीकृत करें ताकि यह उस श्रेणी के हर evaluate_output पर सक्रिय हो
• delete_rule — तैनात कस्टम नियम हटाएँ (विनाशकारी, आइडेम्पोटेंट)
• delete_trace — ID द्वारा एक संग्रहीत ट्रेस हटाएँ (विनाशकारी, टेनेंट-स्कोप्ड)
• evaluate_with_llm_judge — LLM के माध्यम से सिमेंटिक मूल्यांकन (Anthropic या OpenAI)। पाँच टेम्पलेट: सटीकता, सहायकता, सुरक्षा, शुद्धता, निष्ठा। लागत-सीमित, प्रति-मूल्यांकन मूल्य निर्धारण प्रकट। अपनी खुद की API कुंजी लाएँ (IRIS_ANTHROPIC_API_KEY या IRIS_OPENAI_API_KEY) — Iris LLM कॉल को प्रॉक्सी या रिले नहीं करता।
• verify_citations — आउटपुट से साइटेशन निकालें (क्रमांकित, लेखक-वर्ष, URL, DOI), SSRF-गार्डेड + डोमेन-अनुमतिसूची वाले रिज़ॉल्वर के पीछे स्रोत फ़ेच करें, और यह जाँचने के लिए LLM जज का उपयोग करें कि प्रत्येक स्रोत वास्तव में उद्धृत दावे का समर्थन करता है या नहीं। ऑप्ट-इन आउटबाउंड HTTP। evaluate_with_llm_judge के समान BYOK आवश्यकता।

जब IRIS_OTEL_ENDPOINT कॉन्फ़िगर होता है, तो log_trace कॉल किसी भी OpenTelemetry कलेक्टर (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb, आदि) को बेस्ट-एफ़र्ट OTLP/HTTP JSON एक्सपोर्ट भी उत्सर्जित करती हैं। देखें docs/otel-integration.md।

passed कैसे तय होता है

evaluate_output एक score और एक passed फ़्लैग दोनों लौटाता है — वे अलग-अलग प्रश्नों का उत्तर देते हैं:

• score (0..1) चलाए गए नियमों का भारित औसत है — एक गुणवत्ता ग्रेडिएंट।
• passed शिप/नो-शिप निर्णय है: true केवल तब जब स्कोर पास थ्रेशोल्ड (डिफ़ॉल्ट 0.7) को पार करता है और कोई क्रिटिकल नियम विफल नहीं हुआ।

वास्तविक सुरक्षा उल्लंघन हार्ड-फेल होते हैं। no_pii, no_injection_patterns और no_blocklist_words क्रिटिकल नियम हैं: यदि एक भी विफल होता है, तो मूल्यांकन passed: false रिपोर्ट करता है चाहे अन्य नियमों ने कितना भी अच्छा स्कोर किया हो, और प्रतिक्रिया critical_failures में दोषियों के नाम बताती है। एक लीक हुआ SSN औसत से मिटाया नहीं जा सकता। severity: "high" या "critical" के साथ तैनात कस्टम नियम उसी तरह हार्ड-फेल होते हैं; low/medium गंभीरता केवल स्कोर को प्रभावित करती है। एक सीमा जान लें: एक क्रिटिकल नियम जो स्किप हुआ (लापता संदर्भ, या स्किप का कोई अन्य कारण) उसने आउटपुट का निर्णय नहीं किया है और वीटो नहीं करता — rule_results हर स्किप और उसका कारण दिखाता है, ताकि एक गेट जो गैर-निर्णयों पर फेल-क्लोज़ होना चाहिए, वह कर सके।

CI गेट्स के लिए एक चेतावनी: यदि आप eval_type छोड़ देते हैं, तो डिफ़ॉल्ट completeness बंडल चलता है — सुरक्षा नियम नहीं चलते। प्रतिक्रिया eval_type को प्रतिध्वनित करती है (साथ ही एक note जब यह डिफ़ॉल्ट किया गया था) ताकि आपका गेट सत्यापित कर सके कि वास्तव में कौन सा बंडल चला। निर्णय के लिए passed पर और कवरेज के लिए eval_type: "safety" पर ध्यान दें।

पूर्ण टूल स्कीमा और कॉन्फ़िगरेशन: iris-eval.com

होस्टेड सुविधाएँ

Iris आज पूरी तरह से आपकी मशीन पर चलता है, और यह जो कुछ भी करता है वह मुफ्त और MIT लाइसेंस के तहत है, बिना किसी सीमा और बिना किसी खाते के।

होस्टेड स्टोरेज, साझा टीम इतिहास और अलर्टिंग विचाराधीन हैं, निर्माणाधीन नहीं। कोई मूल्य निर्धारण नहीं है, और खरीदने के लिए कुछ भी नहीं है। यदि साझा इतिहास आपके लिए उपयोगी होगा, तो वेटलिस्ट यह पता लगाने का हमारा तरीका है कि क्या इसे बनाना उचित है — यह आपको किसी चीज़ के लिए प्रतिबद्ध नहीं करता।

दो प्रतिबद्धताएँ हर हाल में बनी रहती हैं: जो आज मुफ्त है वह कभी पेवॉल के पीछे नहीं जाएगा, और कोई अनुपालन प्रमाणन उसके प्राप्त होने से पहले दावा नहीं किया जाएगा।

उदाहरण

• Claude Desktop सेटअप — stdio और HTTP मोड के लिए MCP कॉन्फ़िग
• TypeScript — MCP SDK क्लाइंट — कनेक्ट करें और टूल इनवोक करें
• HTTP ट्रांसपोर्ट (TS + Python) — REST-शैली एकीकरण के लिए पूर्ण क्लाइंट कोड
• LangChain इंस्ट्रूमेंटेशन (Python, अवधारणात्मक) — आकार दिखाने वाला स्कैफोल्ड; चलाने योग्य होने के लिए आपके एजेंट कोड की आवश्यकता है
• CrewAI इंस्ट्रूमेंटेशन (Python, अवधारणात्मक) — स्कैफोल्ड; वही चेतावनी

समुदाय

• GitHub Issues — बग रिपोर्ट और फीचर अनुरोध
• GitHub Discussions — प्रश्न और विचार
• योगदान मार्गदर्शिका — योगदान कैसे करें
• HTTP Ingest — POST /api/v1/traces के माध्यम से डिटर्मिनिस्टिक ट्रेस कैप्चर
• रोडमैप — आगे क्या आने वाला है

# Production deployment
iris-mcp --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

npx @iris-eval/mcp-server --self-test

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npx @iris-eval/mcp-server --dashboard
# First log line: "Starting Iris MCP server vX.Y.Z"

# If using npx (clears cache and fetches latest)
npx --yes @iris-eval/mcp-server@latest

# If installed globally
npm update -g @iris-eval/mcp-server

node --version  # Must be v20.x or v22.x+

# Correct
claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx @iris-eval/mcp-server"

यदि Iris आपके लिए उपयोगी है, तो रिपो को स्टार करने पर विचार करें — इससे दूसरों को इसे खोजने में मदद मिलती है।

MIT लाइसेंस।