Iris

Iris — Standar Evaluasi Agen untuk MCP

Ketahui apakah agen AI Anda benar-benar cukup baik untuk dirilis. Iris adalah server MCP sumber terbuka yang menilai kualitas keluaran, mendeteksi kegagalan keamanan, dan menegakkan anggaran biaya di seluruh agen Anda. Setiap agen yang kompatibel dengan MCP akan menemukan dan menggunakannya secara otomatis — tanpa SDK, tanpa perubahan kode.

Masalahnya

Agen Anda berjalan di produksi. Pemantauan infrastruktur melihat 200 OK dan melanjutkan. Ia tidak tahu bahwa agen tersebut baru saja:

• Membocorkan nomor jaminan sosial dalam responsnya
• Berhalusinasi memberikan jawaban tanpa dasar faktual sama sekali
• Menghabiskan $0,47 untuk satu kueri — 4,7x lipat ambang anggaran Anda
• Melakukan 6 panggilan alat ketika 2 saja sudah cukup

Iris mengevaluasi semuanya.

Apa yang Anda Dapatkan

Membutuhkan Node.js 20 atau lebih baru. Periksa dengan node --version.

Mulai Cepat

Tambahkan Iris ke konfigurasi MCP Anda. Bekerja dengan Claude Desktop, Cursor, Windsurf, dan agen apa pun yang kompatibel dengan MCP.

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server"]
    }
  }
}

Selesai. Agen Anda akan menemukan Iris dan mulai mencatat jejak secara otomatis.

Aktifkan dasbor

Iris dilengkapi dengan dasbor web waktu nyata yang menampilkan jejak, hasil evaluasi, rincian biaya, dan tingkat kelulusan aturan. Dasbor ini dinonaktifkan secara default agar server MCP tetap ringan — aktifkan dengan sebuah flag.

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

Kemudian buka http://localhost:6920 setelah agen Anda menjalankan jejak. Dasbor yang sama tersedia melalui CLI:

npx @iris-eval/mcp-server --dashboard

claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

Metode Instalasi Lain

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-mcp --dashboard

# Docker
docker run -p 3000:3000 -v iris-data:/data ghcr.io/iris-eval/mcp-server

Tips: Instalasi global (npm install -g) menyimpan jejak secara persisten di ~/.iris/iris.db. Dengan npx, jejak tetap ada di lokasi yang sama, tetapi startup lebih lambat karena resolusi paket.

Alat MCP

Iris mendaftarkan sembilan alat yang dapat dipanggil oleh agen apa pun yang kompatibel dengan MCP — siklus penuh aturan + jejak + LLM-sebagai-juri + verifikasi kutipan semantik:

• log_trace — Mencatat eksekusi agen dengan rentang, panggilan alat, penggunaan token, dan biaya
• evaluate_output — Menilai kualitas keluaran terhadap aturan kelengkapan, relevansi, keamanan, dan biaya (heuristik, deterministik, gratis)
• get_traces — Mengueri jejak yang tersimpan dengan dukungan penyaringan, paginasi, dan rentang waktu
• list_rules — Mendaftar aturan evaluasi kustom yang diterapkan (hanya-baca)
• deploy_rule — Mendaftarkan aturan evaluasi kustom baru sehingga dijalankan pada setiap evaluate_output dari kategori tersebut
• delete_rule — Menghapus aturan kustom yang diterapkan (destruktif, idempoten)
• delete_trace — Menghapus satu jejak tersimpan berdasarkan ID (destruktif, terlingkup penyewa)
• evaluate_with_llm_judge — Evaluasi semantik melalui LLM (Anthropic atau OpenAI). Lima templat: akurasi, kebermanfaatan, keamanan, kebenaran, kesetiaan. Dibatasi biaya, harga per evaluasi diungkapkan. Bawa kunci API Anda sendiri (IRIS_ANTHROPIC_API_KEY atau IRIS_OPENAI_API_KEY) — Iris tidak memproksi atau meneruskan panggilan LLM.
• verify_citations — Mengekstrak kutipan dari keluaran (bernomor, penulis-tahun, URL, DOI), mengambil sumber di balik resolver yang dijaga SSRF + daftar-putih domain, dan menggunakan juri LLM untuk memeriksa apakah setiap sumber benar-benar mendukung klaim yang dikutip. HTTP keluar yang diikutsertakan. Persyaratan BYOK yang sama seperti evaluate_with_llm_judge.

Ketika IRIS_OTEL_ENDPOINT dikonfigurasi, panggilan log_trace juga mengirimkan ekspor JSON OTLP/HTTP upaya terbaik ke kolektor OpenTelemetry mana pun (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb, dll). Lihat docs/otel-integration.md.

Skema alat lengkap dan konfigurasi: iris-eval.com

Tingkat Cloud (Segera Hadir)

Iris yang dihosting sendiri berjalan di mesin Anda dengan SQLite. Seiring kebutuhan evaluasi tim Anda berkembang, tingkat cloud menambahkan PostgreSQL, dasbor tim, peringatan pada regresi kualitas, dan infrastruktur terkelola.

Bergabunglah dengan daftar tunggu untuk mendapatkan akses awal.

Contoh

• Pengaturan Claude Desktop — Konfigurasi MCP untuk mode stdio dan HTTP
• TypeScript — Klien MCP SDK — menghubungkan dan memanggil alat
• Transport HTTP (TS + Python) — kode klien lengkap untuk integrasi gaya REST
• Instrumentasi LangChain (Python, konseptual) — kerangka yang menunjukkan bentuknya; membutuhkan kode agen Anda agar dapat dijalankan
• Instrumentasi CrewAI (Python, konseptual) — kerangka; peringatan yang sama

Komunitas

• GitHub Issues — Laporan bug dan permintaan fitur
• GitHub Discussions — Pertanyaan dan ide
• Panduan Berkontribusi — Cara berkontribusi
• Roadmap — Apa yang akan datang selanjutnya

# Production deployment
iris-mcp --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npx @iris-eval/mcp-server --help
# Shows "Iris — MCP-Native Agent Eval Server vX.Y.Z"

# If using npx (clears cache and fetches latest)
npx --yes @iris-eval/mcp-server@latest

# If installed globally
npm update -g @iris-eval/mcp-server

node --version  # Must be v20.x or v22.x+

# Correct
claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx @iris-eval/mcp-server"

Jika Iris bermanfaat bagi Anda, pertimbangkan untuk memberi bintang pada repositori — ini membantu orang lain menemukannya.

Berlisensi MIT.