llm-obs-eval-pipeline

Расследования журнала аудита — кто что изменил, компрометация ключей, первопричина скачка затрат, доказательства соответствия (SOC 2/PCI) и аудит активности ИИ.

Установите Datadog Agent на Kubernetes с помощью Datadog Operator — необходимо перед включением Single Step Instrumentation (SSI), которая автоматически…

Запустите итеративный подъём по улучшению кода на реальных данных Datadog LLM-Obs, локально, с Claude Code в качестве агента. Устанавливает базовую оценку, делает один…

Инициализировать оценщики на основе производственных трассировок — по умолчанию предлагать онлайн-оценщики LLM-judge и, после вашего подтверждения, создавать их в Datadog как отключенные черновики…

Сквозной конвейер наблюдаемости агентов для инструментированного ml_app — классификация производственных трасс, анализ первопричин отказов, запуск оценщиков, затем (опционально)…

Анализируйте результаты экспериментов LLM. Поддерживает одиночные или сравнительные эксперименты, исследовательский режим или режим вопросов и ответов. Используйте, когда пользователь говорит «проанализировать эксперимент», «сравнить…»

Используется, когда разработчик хочет итерировать по ОДНОМУ конкретному трейсу Agent Observability / LLM Obs, результат которого ему не понравился — повторно запуская этот трейс против их…

Анализ первопричин на основе производственных LLM-трейсов. Диагностирует, почему LLM-приложение даёт сбои — работает с вердиктами eval-судей, ошибками времени выполнения или структурными…