Iris

Iris — Tiêu Chuẩn Đánh Giá Tác Nhân cho MCP

Biết liệu tác nhân AI của bạn có thực sự đủ tốt để triển khai hay không. Iris là một máy chủ MCP mã nguồn mở giúp chấm điểm chất lượng đầu ra, phát hiện lỗi an toàn và thực thi ngân sách chi phí trên tất cả các tác nhân của bạn. Bất kỳ tác nhân tương thích MCP nào cũng tự động phát hiện và sử dụng nó — không cần SDK, không cần thay đổi mã.

Vấn Đề

Các tác nhân của bạn đang chạy trong môi trường thực tế. Giám sát hạ tầng thấy 200 OK và bỏ qua. Nó không hề biết tác nhân vừa:

• Làm rò rỉ số an sinh xã hội trong phản hồi
• Ảo giác một câu trả lời không có căn cứ thực tế nào
• Tiêu tốn $0.47 cho một truy vấn duy nhất — gấp 4.7 lần ngưỡng ngân sách của bạn
• Thực hiện 6 lần gọi công cụ trong khi 2 lần là đủ

Iris đánh giá tất cả những điều đó.

Những Gì Bạn Nhận Được

Yêu cầu Node.js 20 trở lên. Kiểm tra bằng node --version.

Bắt Đầu Nhanh

Thêm Iris vào cấu hình MCP của bạn. Hoạt động với Claude Desktop, Cursor, Windsurf và bất kỳ tác nhân tương thích MCP nào.

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server"]
    }
  }
}

Vậy là xong. Tác nhân của bạn phát hiện Iris và tự động bắt đầu ghi nhật ký vết.

Bật bảng điều khiển

Iris đi kèm với bảng điều khiển web thời gian thực hiển thị vết, kết quả đánh giá, phân tích chi phí và tỷ lệ vượt qua quy tắc. Nó bị tắt theo mặc định để máy chủ MCP luôn nhẹ — hãy bật nó lên bằng một cờ.

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

Sau đó mở http://localhost:6920 sau khi tác nhân của bạn chạy một vết. Cùng bảng điều khiển đó có sẵn qua CLI:

npx @iris-eval/mcp-server --dashboard

claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

Các Phương Thức Cài Đặt Khác

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-mcp --dashboard

# Docker
docker run -p 3000:3000 -v iris-data:/data ghcr.io/iris-eval/mcp-server

Mẹo: Cài đặt toàn cục (npm install -g) lưu trữ vết liên tục tại ~/.iris/iris.db. Với npx, vết được lưu trữ ở cùng vị trí, nhưng khởi động chậm hơn do phân giải gói.

Công Cụ MCP

Iris đăng ký chín công cụ mà bất kỳ tác nhân tương thích MCP nào cũng có thể gọi — vòng đời quy tắc + vết đầy đủ + LLM làm giám khảo + xác minh trích dẫn ngữ nghĩa:

• log_trace — Ghi nhật ký một lần thực thi tác nhân với các span, lần gọi công cụ, mức sử dụng token và chi phí
• evaluate_output — Chấm điểm chất lượng đầu ra dựa trên các quy tắc về tính đầy đủ, tính liên quan, an toàn và chi phí (heuristic, xác định, miễn phí)
• get_traces — Truy vấn các vết đã lưu trữ với hỗ trợ lọc, phân trang và phạm vi thời gian
• list_rules — Liệt kê các quy tắc đánh giá tùy chỉnh đã triển khai (chỉ đọc)
• deploy_rule — Đăng ký một quy tắc đánh giá tùy chỉnh mới để nó kích hoạt trên mỗi evaluate_output của danh mục đó
• delete_rule — Xóa một quy tắc tùy chỉnh đã triển khai (có tính hủy diệt, lũy đẳng)
• delete_trace — Xóa một vết đã lưu trữ theo ID (có tính hủy diệt, phạm vi theo đối tượng thuê)
• evaluate_with_llm_judge — Đánh giá ngữ nghĩa qua LLM (Anthropic hoặc OpenAI). Năm mẫu: độ chính xác, tính hữu ích, an toàn, tính đúng đắn, độ trung thực. Giới hạn chi phí, công bố giá mỗi lần đánh giá. Mang theo khóa API của riêng bạn (IRIS_ANTHROPIC_API_KEY hoặc IRIS_OPENAI_API_KEY) — Iris không ủy quyền hoặc chuyển tiếp các cuộc gọi LLM.
• verify_citations — Trích xuất trích dẫn từ đầu ra (đánh số, tác giả-năm, URL, DOI), tìm nạp nguồn đằng sau một trình phân giải được bảo vệ chống SSRF + danh sách cho phép tên miền, và sử dụng giám khảo LLM để kiểm tra xem mỗi nguồn có thực sự hỗ trợ tuyên bố được trích dẫn hay không. HTTP ra ngoài tùy chọn. Cùng yêu cầu BYOK như evaluate_with_llm_judge.

Khi IRIS_OTEL_ENDPOINT được cấu hình, các cuộc gọi log_trace cũng phát ra một xuất JSON OTLP/HTTP nỗ lực tốt nhất tới bất kỳ bộ thu thập OpenTelemetry nào (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb, v.v.). Xem docs/otel-integration.md.

Lược đồ công cụ và cấu hình đầy đủ: iris-eval.com

Phiên Bản Đám Mây (Sắp Ra Mắt)

Iris tự lưu trữ chạy trên máy của bạn với SQLite. Khi nhu cầu đánh giá của nhóm bạn tăng lên, phiên bản đám mây bổ sung PostgreSQL, bảng điều khiển nhóm, cảnh báo về suy giảm chất lượng và hạ tầng được quản lý.

Tham gia danh sách chờ để được truy cập sớm.

Ví Dụ

• Thiết lập Claude Desktop — Cấu hình MCP cho chế độ stdio và HTTP
• TypeScript — MCP SDK client — kết nối và gọi công cụ
• HTTP transport (TS + Python) — mã client đầy đủ cho tích hợp kiểu REST
• LangChain instrumentation (Python, khái niệm) — khung mẫu thể hiện cấu trúc; cần mã tác nhân của bạn để có thể chạy được
• CrewAI instrumentation (Python, khái niệm) — khung mẫu; cùng lưu ý

Cộng Đồng

• GitHub Issues — Báo cáo lỗi và yêu cầu tính năng
• GitHub Discussions — Câu hỏi và ý tưởng
• Hướng dẫn Đóng góp — Cách đóng góp
• Lộ trình — Những gì sắp tới

# Production deployment
iris-mcp --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npx @iris-eval/mcp-server --help
# Shows "Iris — MCP-Native Agent Eval Server vX.Y.Z"

# If using npx (clears cache and fetches latest)
npx --yes @iris-eval/mcp-server@latest

# If installed globally
npm update -g @iris-eval/mcp-server

node --version  # Must be v20.x or v22.x+

# Correct
claude mcp add --transport stdio iris-eval -- npx @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx @iris-eval/mcp-server"

Nếu Iris hữu ích với bạn, hãy cân nhắc gắn sao cho repo — điều đó giúp người khác tìm thấy nó.

Được cấp phép MIT.