Iris

Iris — хватит выпускать агентов на удачу

Iris оценивает каждый запуск агента по качеству, безопасности и стоимости — на вашей машине, без SDK и без аккаунта. Большинство проектов с агентами проверяют качество, прогоняя несколько запомненных промптов и оценивая результат на глаз. Iris заменяет это числами, которые можно проверить: запуски вашего агента попадают в базу данных SQLite на вашем диске, 25 встроенных правил оценивают их детерминированно — PII, prompt injection, маркеры галлюцинаций, пороги стоимости и собственные вызовы инструментов агента — бесплатно, без обращений к LLM, а опциональный LLM-судья с жёстким лимитом стоимости на одну оценку разбирает семантические вопросы. Каждое правило можно посмотреть и отредактировать, потому что судья, которого нельзя проверить, — это просто удача с числом сверху. Лицензия MIT, без телеметрии. Ничего не покидает вашу машину, если вы не включите одно из следующего: конечная точка OpenTelemetry (IRIS_OTEL_ENDPOINT), которая экспортирует трейсы в указанный вами коллектор; LLM-судья с вашим собственным ключом, который отправляет оцениваемый текст этому провайдеру, а его проверка цитирования загружает страницы, на которые ссылается вывод; или вебхук, который отправляет идентификаторы, вердикт и названия правил, но никогда текст, на указанный вами адрес.

Требуется Node.js 22.13 или новее. Проверьте с помощью node --version.

_{Демонстрационная база данных, записанная с помощью scripts/demo-media.mts; исходник — demo.mp4. Кадр: dashboard-overview.png.}

Сбой на экране за 60 секунд

Никакой обвязки агента, никакой конфигурации — одна команда:

npx @iris-eval/mcp-server --demo

Это создаёт демонстрационную базу данных — пять небольших агентов, две недели запусков, каждый вердикт от собственного движка — и запускает дашборд для неё на http://localhost:6920 (браузер открывается автоматически при первом запуске). Дашборд открывается на вкладке Failures: что упало, сначала худшее и самое свежее, каждая карточка называет правило и его доказательства. Стоит заглянуть внутрь — утечка PII, пойманная правилами безопасности, скрытая директива в сообщении на форуме, которой последовал суммаризатор, число, которого не было в исходном документе, два запуска на одних и тех же двенадцати вопросах, сравнённые с интервалом (Runs), развёрнутое кастомное правило и приостановленное с их строками аудита, а также неудачная оценка LLM-судьи с её обоснованием.

Демо-данные живут в отдельной базе (demo.db в вашем домашнем каталоге Iris — ~/.iris на macOS/Linux, %USERPROFILE%\.iris на Windows) и никогда не смешиваются с вашими реальными трейсами. Удалить всё одной командой:

npx @iris-eval/mcp-server --demo-clear

Подключите своего агента

Сначала убедитесь, что установка работает на этой машине — она работает офлайн и не открывает ничего вашего:

npx @iris-eval/mcp-server --self-test   # exit 0 = healthy

Затем добавьте Iris в ваш MCP-клиент. Одна команда записывает собственный конфигурационный файл клиента, сохраняет все остальные серверы в нём и закрепляет версию, которую вы запустили:

npx -y @iris-eval/mcp-server install claude-code

Клиенты: claude-code, claude-desktop, cursor, windsurf, continue, vscode, cline, zed, codex, gemini. install --list показывает найденные на этой машине, какой Iris запускает каждый и какой файл он читает; install <client> --uninstall снова удаляет Iris. Все клиенты используют одну базу данных, поэтому после обновления перенесите их все сразу с помощью install --upgrade (Обновление). Перезапустите клиент, чтобы загрузить его.

Claude Desktop: один клик. Каждый релиз с 0.20.0 прикрепляет iris-eval.mcpb, MCP Bundle: скачайте последний, откройте его, и Claude Desktop покажет диалог установки. Ничего из этого не обязательно — ключ Anthropic или OpenAI для LLM-судьи опционален, а дашборд — это переключатель, который по умолчанию выключен. В бандле лежат npm-пакет и его зависимости, так что больше ничего устанавливать не нужно: Claude Desktop запускает его под своим Node, если этот Node версии 22.13 или новее (Claude Desktop 1.1.6679 поставляет 24.13), а Iris хранит трейсы во встроенном SQLite Node, в том же ~/.iris, который использует любая другая установка. В примечаниях к релизу показано, как проверить его подпись и аттестацию сборки.

Он работает в любом MCP-клиенте, и у каждого клиента, который он называет, есть строка с тем, что было проверено на самом деле. Проверено на каждом прогоне CI: Claude Code, Gemini CLI — реальный клиент запускает Iris из конфига, написанного установщиком, и сообщает о подключении (claude mcp list, gemini mcp list), на Linux, macOS и Windows; хуки плагина захвата Claude Code также управляются через реальные скрипты. Заявлено из собственной MCP-документации каждого клиента — установщик пишет форму конфигурации, которую документирует клиент, и этот писатель протестирован на этой форме; никто со стороны Iris не видел, как он подключается: Claude Desktop, Cursor, Devin Desktop (Windsurf), Continue, VS Code, Cline, Zed, OpenAI Codex CLI. Каждая строка с её источником и датой чтения: https://iris-eval.com/clients. Вручную, одним блоком, включая дашборд:

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

Ваш клиент перечисляет двенадцать инструментов Iris при подключении, а дашборд работает на http://localhost:6920. Теперь вставьте это своему агенту:

Запиши последнюю задачу в Iris и оцени вывод.

Трейс попадает на дашборд со своими оценками. Предпочитаете MCP-сервер без головы? Уберите --dashboard из аргументов — вы можете открыть тот же дашборд в любой момент с помощью npx @iris-eval/mcp-server --dashboard.

Одна вещь, которую стоит знать заранее: MCP-инструменты вызываются, когда модель решает их вызвать. Iris не перехватывает вашего агента, поэтому трейсы записываются, когда ваш агент просит их записать — либо потому, что вы ему сказали, либо потому, что ваш код вызывает инструменты напрямую. Попросите агента «запиши это в Iris и оцени» — и он сделает. Если вам нужен захват, который не зависит от выбора модели, POST /api/v1/traces делает именно это — ваш код отправляет трейс по обычному HTTP, без модели в цикле (см. docs/http-ingest.md). CLI и хуки хоста из дорожной карты будут тонкими клиентами над той же конечной точкой.

Захват по HTTP (без модели в цикле)

Конечная точка приёма живёт на порту дашборда — 6920 по умолчанию, не на порту MCP-транспорта — и существует только пока запущен дашборд. Передайте --dashboard (или установите IRIS_DASHBOARD=true); --transport http сам по себе не запускает её, а запрос на порт транспорта возвращает 404. При поднятом дашборде всё, что может отправить HTTP-запрос, может записать трейс — и опционально запустить детерминированные оценки в том же запросе. GET /api/v1/capabilities на том же порту сообщает, что этот сервер может оценивать, что нужно каждому правилу, состояние судьи с шагами, которые его включают, и лимиты — тот же объект, который отдаёт MCP-ресурс iris://capabilities — так что HTTP-вызывающий получает рамку, которую MCP-клиент получает при инициализации:

curl -s -X POST "http://127.0.0.1:6920/api/v1/traces" \
  -H "Content-Type: application/json" \
  -d '{
    "agent_name": "support-bot",
    "input": "What is the refund policy?",
    "output": "Refunds are available within 30 days of purchase.",
    "evaluate": true,
    "eval_type": "safety"
  }'

Возвращает 201 с сохранённым trace_id и результатом оценки (в режиме --demo конечная точка отказывает в записи с 403, так что демо-данные никогда не смешиваются с вашими). Конечная точка принимает то же тело, что и инструмент log_trace, и стоит за тем же стеком промежуточного ПО, что и остальной дашборд: привязка к loopback и защита от DNS-rebinding по умолчанию, плюс Bearer-аутентификация, если вы её задали. Два простых факта о ней: она принимает неаутентифицированные записи, если Iris не был запущен с --api-key (или IRIS_API_KEY) — привязка к loopback и держит её на вашей машине по умолчанию, поэтому задайте ключ перед привязкой за пределами loopback; и то, что она хранит, сохраняется дословно — input и output попадают в iris.db ровно как отправлены, включая любой текст, который no_pii затем пометит. Полный контракт, справочник полей и семантика ошибок: docs/http-ingest.md.

Захват каждого хода Claude Code (опционально)

/plugin marketplace add iris-eval/mcp-server
/plugin install iris-eval-capture@iris-eval

Второй, отдельно устанавливаемый плагин: три хука записывают промпт, вызовы инструментов и финальный ответ каждого хода и передают их в iris-eval ingest, отсоединённо, с редактированием критических спанов в сохранённом тексте оценки — захват, который не зависит от решения модели вызвать инструмент. Он никогда не логирует ход, который модель уже записала, никогда не печатает, никогда не блокирует и никогда ничего никуда не отправляет. Установка одного iris-eval ничего не меняет в вашем цикле ходов. Лимиты и удаление: claude-plugin-capture/README.md.

Python

pip install iris-eval

from iris_eval import IrisClient
iris = IrisClient()                       # IRIS_URL, or the running dashboard's runtime.json
iris.evaluate_output("…", input="…", agent_name="support-bot")["verdict"]   # {"state": "pass", "basis": "clean", "by": []}

Тонкий клиент поверх HTTP API сервера 0.16.0 и новее, версионируется отдельно — iris_eval.__version__ и страница PyPI несут его номер, который не совпадает с серверным: log_trace(), evaluate_output(), get_traces(), get_trace(), health(), capabilities(), синхронный и асинхронный, типизированные ответы, собственное предложение сервера при отказе — и pytest-плагин: фикстура iris и assert_iris(output, expect="pass"), которая проверяет состояние вердикта. packages/python/README.md.

Запись каждого вызова OpenAI и Anthropic

from iris_eval import wrap_openai
client = wrap_openai(OpenAI(), agent_name="support-bot")   # every call: a GenAI span to POST /v1/traces, scored

import { wrapOpenAI } from '@iris-eval/sdk';
const openai = wrapOpenAI(new OpenAI(), { agentName: 'support-bot' });

Оберните клиент провайдера один раз, и каждый вызов модели станет одним спаном OpenTelemetry GenAI, отправленным в дверь OTLP, сохранённым с его входом, выходом, использованием токенов и вызовами инструментов, и оценённым: захват, который не зависит от вызова инструмента моделью. wrap_openai / wrap_anthropic в Python-клиенте; wrapOpenAI, wrapAnthropic и irisMiddleware для Vercel AI SDK в @iris-eval/sdk. Оба ещё не опубликованы (следующий релиз iris-eval на PyPI; @iris-eval/sdk собирается из исходников до первого npm-релиза). Потоки, хелперы потоков SDK и вызовы инструментов покрыты, исходный клиент не изменяется, а падение Iris никогда не ломает вызов — packages/sdk/README.md, packages/python/README.md.

Оценка каждого запуска LangChain и LangGraph

from iris_eval.langchain import IrisCallbackHandler
graph.invoke(inputs, config={"callbacks": [IrisCallbackHandler(agent_name="support-bot")]})

Каждый запуск верхнего уровня становится одним трейсом (сам запуск, его вызовы моделей, его вызовы инструментов и его узлы графа как спаны GenAI) с его входом, выходом, вызовами инструментов, использованием токенов и вердиктом. Python в клиенте (следующий релиз, ещё не опубликован на PyPI), JavaScript как @iris-eval/langchain (ещё не опубликован на npm). Оба проверены в CI против реального приложения LangGraph со скриптованной моделью; собственный экспорт OpenTelemetry LangSmith проверен так же — docs/otel-recipes.md.

CI-шлюз, без сервера

npx -y @iris-eval/mcp-server ingest --file traces.ndjson --evaluate --fail-on detector_veto

Или GitHub Action (0.16.0), который проваливает задание на названных вами вердиктах, записывает квитанцию в сводку задания и публикует её как один комментарий к pull request, обновляемый на месте: uses: iris-eval/mcp-server/.github/actions/gate@v0.19.0 с traces: traces.ndjson — docs/ci-gate.md. Четвёртая дверь (0.15.0): POST /v1/traces на порту дашборда принимает OTLP/HTTP JSON или protobuf, которые уже генерирует ваша инструментовка OpenTelemetry (экспортёр Python SDK говорит только на protobuf, так что это также дверь для Python), и каждый OTLP-трейс становится трейсом Iris со своими спанами — docs/otel-integration.md; по одному рецепту на фреймворк (Pydantic AI, Google ADK, LangGraph через LangSmith, CrewAI, OpenAI Agents SDK на Python и JavaScript, LlamaIndex, AutoGen, Microsoft Agent Framework, Semantic Kernel, Vercel AI SDK и Mastra), каждый подтверждён фикстурой, в docs/otel-recipes.md. ingest читает один JSON-трейс (или NDJSON, по одному на строку) из stdin или файла, сохраняет его, оценивает по точно тем же правилам, что и evaluate_output, выводит по одной JSON-строке на трейс с вердиктом и его основанием, и завершается с кодом 1, когда вердикт совпадает с --fail-on. --dataset <id|label> ограничивает этот шлюз ключами кейсов в наборе данных (POST /api/v1/datasets продвигает ключи кейсов запуска в такой набор), так что задание падает только на выбранных вами кейсах. Полный рецепт, коды выхода и восемь оснований — в docs/ci-gate.md.

Напишите правило как код

eval.plugins в config.json загружает написанные вами правила — ES-модуль, чей экспорт по умолчанию — это { name, kind, mechanism, version, needs, evaluate(ctx) } — закреплённый по sha256 файла, так что файл, изменившийся после закрепления, откажется запускаться, а не выполнится. Загруженный плагин срабатывает как встроенный и отображается на list_rules под plugins. Контракт, рецепт хеширования и что может вернуть плагин: docs/plugins.md.

Используйте движок в своём процессе

Движок оценки импортируем — без сервера, без базы данных, без модели:

import { EvalEngine, defaultConfig } from '@iris-eval/mcp-server/engine';

const engine = new EvalEngine(defaultConfig.eval.defaultThreshold, defaultConfig.eval.ruleThresholds, defaultConfig.eval);
const result = await engine.evaluateAll({ output: answer, input: prompt, toolCalls, costUsd });
result.verdict.state;       // 'pass' | 'fail' | 'unknown', with result.verdict.basis and result.interpretations

Тот же движок, те же правила и тот же компоновщик, что запускает сервер; builtInRules(), createCustomRule(), compose() и считыватели опубликованной точности экспортируются рядом с ним.

Типизированный клиент для HTTP-маршрута

import { createClient } from '@iris-eval/mcp-server/client';

const iris = createClient({ baseUrl: 'http://127.0.0.1:6920', apiKey: process.env.IRIS_API_KEY });
const { trace_id, evaluation } = await iris.logTrace({ agent_name: 'support-bot', input, output, tool_calls, evaluate: true });
evaluation?.verdict?.state;  // the same object evaluate_output returns

Одно тело на каждой двери: это то, что принимают log_trace и iris-eval ingest. Отказ выбрасывает IrisClientError с собственным сообщением сервера и статусом. Оба подпути проверяются из упакованного tarball при каждой сборке.

Проверьте свою установку

npx @iris-eval/mcp-server --self-test   # offline diagnostic; exit 0 = healthy, 1 = a check failed
npx @iris-eval/mcp-server --version     # prints the bare version, e.g. 1.2.3

--self-test сначала создаёт ваш домашний каталог Iris, если он отсутствует, и проверяет, что он доступен для записи (код 1 с указанием пути, если нет), сообщает, где находится поисковый индекс вашей базы данных (целиком, сколько трейсов фоновая сборка проиндексировала на данный момент, или нет FTS5 в этом SQLite), читает схему вашей базы данных (код 1 с исправлением, если эта версия или MCP-клиент, закреплённый за старой версией, не может её открыть), затем запускает свои проверки — цикл записи в хранилище, посаженный SSN и посаженную инъекцию, пойманные правилами безопасности, загрузку дашборда, защиту от DNS-rebinding — в изолированном временном домашнем каталоге. Ваша реальная база данных только читается, никогда не изменяется. Всё, что пишет Iris, живёт в одном каталоге — вашем домашнем каталоге Iris: ~/.iris по умолчанию (%USERPROFILE%\.iris на Windows) или там, куда указывает IRIS_HOME. Именно там живут iris.db, config.json, custom-rules.json, audit.log, preferences.json и демо-файлы; укажите IRIS_HOME на временный каталог, чтобы попробовать Iris, не трогая реальные данные.

claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

{
  "servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"]
    }
  }
}

{
  "context_servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"],
      "env": {}
    }
  }
}

[mcp_servers.iris-eval]
command = "npx"
args = ["-y", "@iris-eval/mcp-server"]

Другие способы установки

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-eval --dashboard

# Docker — two servers, two ports: 3000 = MCP HTTP transport,
# 6920 = dashboard (which also serves the POST /api/v1/traces ingest endpoint).
# The image binds 0.0.0.0 inside the container, so a key is required (see Production).
# The volume is the Iris home: the database, deployed rules and audit log persist in it.
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

Совет: Глобальная установка (npm install -g) хранит трейсы постоянно в ~/.iris/iris.db. С npx трейсы сохраняются в том же месте, но запуск медленнее из-за разрешения пакетов.

Что вы получаете

Куда это движется дальше: карта возможностей — каждый вопрос, который можно задать Iris по каждой теме, с тем, что есть и чего не хватает — и три трека.

Измерено, не заявлено

Каждая встроенная метрика имеет опубликованные precision, recall и F1 с 95% доверительными интервалами, измеренные на размеченном корпусе, который хранится в этом репозитории (proof/corpus/) и пересоздаётся одной командой — npm run proof — офлайн, без ключа и без модели в цикле. Эти числа бывают двух разных видов, и страница никогда не складывает их вместе: некоторые метрики измеряются по меткам, которые модель дала, прочитав сам сбой, что измеряет детектирование; остальные проверяются по их собственному документированному определению, применённому независимо, что показывает, что код реализует свою формулу, и ничего не говорит о том, ловит ли формула сбой. proof/RESULTS.md и страница доказательств отмечают каждую метрику. CI перезапускает измерение на каждом pull request и завершается ошибкой, если зафиксированные числа отличаются от того, что выдаёт код, поэтому метрика не может измениться без изменения её чисел. Числа находятся на iris-eval.com/proof и в proof/RESULTS.md; как был создан корпус, чем он не является и как читать интервал — в docs/proof.md. Корпус синтетический и размечен моделью — человеческая слепая разметка ожидается, и страница об этом говорит; node proof/blind-sample.mjs формирует воспроизводимую выборку, которая это урегулирует.

MCP-инструменты

Iris регистрирует двенадцать инструментов, которые может вызывать любой MCP-совместимый агент — жизненный цикл трасс и метрик, сравнение между запусками, LLM-как-судья и проверка семантического цитирования:

• log_trace — Запись выполнения агента с спанами, вызовами инструментов, использованием токенов и стоимостью; передайте evaluate: true, чтобы оценить его в том же вызове
• evaluate_output — Оценка качества вывода по метрикам полноты, релевантности, безопасности и стоимости (эвристические, детерминированные, бесплатные)
• get_traces — Запрос сохранённых трасс с фильтрацией, пагинацией и поддержкой временных диапазонов, а также поиск запуска, где агент сказал что-то с помощью q: полнотекстовый поиск по вводу, выводу, значениям вызовов инструментов и метаданным, ранжированный, с отмеченными совпавшими словами
• list_rules — Перечисление развёрнутых пользовательских метрик оценки (только чтение)
• deploy_rule — Регистрация новой пользовательской метрики оценки, чтобы она срабатывала на каждом evaluate_output этой категории
• delete_rule — Удаление развёрнутой пользовательской метрики (разрушительно, идемпотентно)
• delete_trace — Удаление одной сохранённой трассы по ID (разрушительно, ограничено тенантом)
• evaluate_with_llm_judge — Семантическая оценка через LLM (Anthropic или OpenAI). Семь шаблонов: accuracy, helpfulness, safety, correctness, faithfulness, task_completed, relevance. С ограничением стоимости, цены за оценку раскрыты. Принесите свой собственный API-ключ (IRIS_ANTHROPIC_API_KEY или IRIS_OPENAI_API_KEY) — Iris не проксирует и не ретранслирует LLM-вызовы.
• verify_citations — Извлечение цитат из вывода (нумерованные, автор-год, URL, DOI), получение источников через резолвер с защитой от SSRF и белым списком доменов, и использование LLM-судьи для проверки, действительно ли каждый источник поддерживает цитируемое утверждение. Опциональный исходящий HTTP. То же требование BYOK, что и у evaluate_with_llm_judge.
• compare_runs — Сделало ли изменение агента хуже? Сравнивает два запуска сохранённых оценок: парный точный тест, когда запуски имеют общие ключи случаев, интервал на разницу в противном случае, честное «нельзя сказать» с количеством случаев, которое потребуется, или «эквивалентно в пределах допуска». Каждая метрика несёт свой собственный односторонний тест, скорректированный вместе (Бенджамини–Хохберг), чтобы двадцать метрик не могли сфабриковать регрессию
• compare_traces — Насколько надёжно агент отвечает на один и тот же вопрос? Показатели прохождения по случаям с интервалами, сначала нестабильные случаи, и общий показатель, учитывающий повторы
• evaluate_runs — Переоценка каждой трассы в запуске по сегодняшним метрикам в новый запуск, чтобы изменение метрик никогда не читалось как изменение агента

Включение LLM-судьи (опционально; детерминированные метрики никогда в нём не нуждаются)

1. Получите API-ключ от Anthropic или OpenAI.
2. Поместите его в окружение процесса, который запускает Iris, а не только в вашу оболочку. Claude Code, Claude Desktop, Cursor и большинство MCP-клиентов: блок «env» записи iris-eval в вашем MCP-конфиге — «iris-eval»: { «command»: «npx», «args»: [«-y», «@iris-eval/mcp-server»], «env»: { «IRIS_ANTHROPIC_API_KEY»: «sk-ant-...» } } (IRIS_OPENAI_API_KEY для ключа OpenAI). Docker: -e IRIS_ANTHROPIC_API_KEY=... в команде запуска. HTTP или CI: экспортируйте его перед запуском iris-eval.
3. Перезапустите MCP-сессию. Запущенный процесс никогда не видит переменную, установленную после его старта.
4. Подтвердите из вашего клиента: прочитайте iris://capabilities — judge.enabled должно быть true там. Ключ, экспортированный в вашей оболочке, не передаётся процессу, который запускает ваш клиент, если его конфиг не перечисляет его. На машине npx @iris-eval/mcp-server --self-test печатает строку судьи для этой оболочки, а GET /api/v1/health сообщает judge.enabled на запущенной панели.
5. Защита расходов: каждый вызов ограничен IRIS_LLM_JUDGE_MAX_COST_USD_PER_EVAL (по умолчанию 0,25 USD) и отклоняется до любых расходов, если худший случай превысит его. Iris вызывает провайдера напрямую с вашим ключом и никогда не проксирует его.
6. Опционально: установите IRIS_RELEVANCE_JUDGE_MODEL на идентификатор тарифицируемой модели (например, claude-haiku-4-5), чтобы answers_the_ask спрашивал судью, отвечает ли каждый ответ на свой вопрос, и проваливал не по теме. Это один вызов судьи на каждую оценку, которая несёт ввод, на вашем ключе и под указанным выше лимитом; сам ключ никогда не включает это. Каждый вызов отправляет этот ввод и вывод провайдеру модели, с предварительно заменёнными флагами no_pii для персональных данных и учётных данных (IRIS_RELEVANCE_JUDGE_REDACT=off отправляет их как есть). Это тратит не более IRIS_RELEVANCE_JUDGE_DAILY_BUDGET_USD за UTC-день (по умолчанию 1 USD) и делает не более IRIS_RELEVANCE_JUDGE_MAX_CALLS_PER_REQUEST вызовов за запрос (по умолчанию 20); после любого из них answers_the_ask читает вопрос лексически и объясняет почему.

Когда IRIS_OTEL_ENDPOINT настроен, вызовы log_trace также отправляют экспорт OTLP/HTTP JSON с максимальными усилиями в любой коллектор OpenTelemetry (Jaeger, Grafana Tempo, Datadog OTLP, Honeycomb и т. д.). См. docs/otel-integration.md.

Как решается passed

evaluate_output возвращает и флаг score, и флаг passed — они отвечают на разные вопросы:

• score (0..1) — это взвешенное среднее по метрикам, которые выполнялись — градиент качества.
• passed — это вердикт «выпускать/не выпускать», и оценка для него никогда не используется. Компоновщик читает каждую метрику по типу её утверждения: настроенная вами политика блокирует; критический детектор накладывает вето; критическая проверка, которая была запрошена и не смогла ответить, делает вердикт неизвестным (passed: false), а не чистым; каждый оставшийся детектор объединяется в одну вероятность того, что вывод плохой, взвешенную против коэффициента потерь, который вы указываете в eval.falsePassCost (по умолчанию 1, поэтому отсечение — 0,5). verdict.basis называет слой, который решил, а verdict.by — метрики, и verdict.also перечисляет каждый более поздний слой, который тоже решил бы это; interpretations[] объясняет, почему метрика, которая провалилась, не решила, и какой параметр это изменит, а также называет любой вопрос, который не был оценён, и ввод, который позволил бы это сделать.

Настоящие нарушения безопасности жёстко проваливаются. По умолчанию no_pii, no_injection_patterns и no_blocklist_words являются критическими метриками: если одна проваливается, оценка сообщает passed: false независимо от того, как хорошо оценились другие метрики, и ответ называет виновных в critical_failures. Утёкший SSN нельзя усреднить. Какие встроенные метрики являются критическими — это параметр развёртывания (eval.criticalRules / eval.nonCriticalRules); каждый результат метрики несёт эффективный флаг critical и criticalSource, а list_rules сообщает список, который применяет этот сервер. Пользовательские метрики, развёрнутые с severity: "high" или "critical", жёстко проваливаются так же; серьёзности low/medium влияют только на оценку. Одна граница, которую нужно знать, сформулированная одинаково на всех поверхностях: критическая метрика, которая пропущена (отсутствующий контекст, сломанное определение или regex, убитый на бюджете песочницы), не оценила вывод и не накладывает вето — каждая такая метрика названа в critical_skipped. Шлюз, который должен закрываться при сбое, обрабатывает непустой critical_skipped как неизвестный, а не чистый, и может обрабатывать любой пропуск budgetExceeded в rule_results так же.

Для CI-шлюзов: если вы опускаете eval_type, выполняются все пакеты — полнота, релевантность, безопасность, стоимость и любые пользовательские метрики — и ответ говорит eval_type: "all" с note, что по умолчанию выполнялся, плюс карта categories для каждого пакета. Пакет, которому нечего оценивать (стоимость без cost_usd, релевантность без input), сообщает passed: null там — не оценено, не провалено — и никогда не учитывается в вердикте. Ответ всегда повторяет eval_type, который выполнялся, чтобы ваш шлюз мог проверить покрытие; ориентируйтесь на passed для вердикта и называйте пакет только тогда, когда хотите более узкий запуск.

Создание пользовательской метрики

Два способа добавить метрику. Встроенные метрики едут вместе с одним вызовом evaluate_output (custom_rules, до 10 на вызов); они срабатывают вместе с выбранным вами пакетом eval_type или отдельно с eval_type: "custom". Развёрнутые метрики регистрируются один раз с помощью deploy_rule, сохраняются в custom-rules.json в вашем Iris home и срабатывают на каждом будущем evaluate_output их evalType. Определение имеет одинаковую форму в обоих случаях:

deploy_rule оборачивает определение с name, опциональным description, evalType (completeness · relevance · safety · cost · custom) и severity. Серьёзность говорит, что означает провал: low/medium только снижают оценку; high/critical жёстко проваливают оценку — passed: false, метрика, названная в critical_failures — независимо от взвешенной оценки. Метрика, которая пропускает (метрика cost_threshold без cost_usd или regex, убитый на бюджете песочницы 100 мс), не оценила вывод и перечислена в critical_skipped вместо этого. Разверните критическую метрику, которая запрещает внутренние hostname в любом выводе агента:

{
  "name": "no_internal_hostnames",
  "description": "Output must not mention internal hostnames.",
  "evalType": "safety",
  "severity": "critical",
  "definition": {
    "name": "no_internal_hostnames",
    "type": "regex_no_match",
    "config": { "pattern": "\\b[a-z0-9-]+\\.internal\\.example\\b", "flags": "i" }
  }
}

Ответ — это сохранённая метрика — сохраните id для delete_rule:

{ "rule": { "id": "rule-588823d0", "name": "no_internal_hostnames", "evalType": "safety", "severity": "critical", "enabled": true, "version": 1, "definition": { "…": "…" } } }

С самого следующего evaluate_output с eval_type: "safety" вывод, упоминающий db-primary.internal.example, возвращается passed: false с critical_failures: ["no_internal_hostnames"] — даже если все пять встроенных метрик безопасности прошли и взвешенная оценка равна 0,895. Regex-паттерны должны проходить проверку ReDoS при развёртывании и всегда выполняются в worker-песочнице под жёстким дедлайном 100 мс. list_rules показывает, что развёрнуто; компоновщик метрик на панели создаёт ту же форму из сбоя, на который вы нажали. Полная справка, оценка по типам и рабочие примеры: docs/custom-rules.md.

Полные схемы инструментов и конфигурация: iris-eval.com

Хостируемые функции

Iris полностью работает на вашей машине сегодня, и всё, что он делает, бесплатно и лицензировано MIT без ограничений и без аккаунта. Хостируемое хранилище, общая история команды и оповещения находятся на стадии рассмотрения, а не разработки. Никаких цен нет, и покупать нечего. Если общая история была бы вам полезна, лист ожидания — это способ узнать, стоит ли её создавать — он ни к чему вас не обязывает.

Два обязательства остаются неизменными: ничто из того, что сейчас бесплатно, не станет платным, и ни один сертификат соответствия не будет заявлен до его получения.

Примеры

• Настройка Claude Desktop — конфигурация MCP для режимов stdio и HTTP
• TypeScript — MCP SDK клиент — подключение и вызов инструментов
• HTTP транспорт (TS + Python) — полный клиентский код для REST-интеграции
• Агент LangGraph, оценённый запуск за запуском (Python) — IrisCallbackHandler в колбэках графа; CI запускает тот же граф со скриптовой моделью
• Команда CrewAI через OpenTelemetry (Python) — инструментатор OpenInference напрямую к OTLP-порту Iris, рецепт CrewAI как скрипт
• Агент OpenAI Agents SDK через OpenTelemetry (Python) и (JavaScript), а также агент LlamaIndex — каждый рецепт как скрипт, который CI запускает против реального сервера Iris

Сообщество

• GitHub Issues — отчёты об ошибках и запросы функций
• GitHub Discussions — вопросы и идеи
• Руководство по участию — как внести вклад
• HTTP Ingest — детерминированный захват трассировок через POST /api/v1/traces
• Карта возможностей — каждый вопрос, который можно задать Iris, и чего ему не хватает
• Политика версионирования — что обещает каждый номер версии и что должно быть истинным до версии 1.0

# Production deployment
iris-eval --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

# The image: pass a key
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

# Compose: the file requires the variable and refuses before the container starts
IRIS_API_KEY="$(openssl rand -hex 32)" docker compose up

# A network you have already fenced some other way: run open, on purpose
IRIS_ALLOW_UNAUTHENTICATED=1 iris-eval --transport http --dashboard

npx @iris-eval/mcp-server --self-test

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npm rebuild better-sqlite3
# for a global install:
npm rebuild -g better-sqlite3

npx @iris-eval/mcp-server --version

npx -y @iris-eval/mcp-server@latest install --upgrade

node --version  # Must be v22.13.0 or newer

# Correct
claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx -y @iris-eval/mcp-server"

Если Iris полезен для вас, рассмотрите возможность поставить звезду репозиторию — это помогает другим найти его.

Лицензия MIT.