llm-obs-experiment-analyzer

от datadog-labs

Анализирует результаты экспериментов с LLM. Поддерживает одиночные и сравнительные эксперименты, исследовательский режим и режим вопросов-ответов. Используйте, когда пользователь говорит «проанализировать эксперимент», «сравнить…»

npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-experiment-analyzer

Скачать ZIP GitHub

Больше skills от datadog-labs

dd-audit-compliance-report

Генерирует готовые для аудитора свидетельства соответствия из Datadog Audit Trail для SOC 2 и PCI DSS. Сопоставляет элементы управления фреймворков с конкретными шаблонами запросов и создаёт…

experiment-analyzer

Анализ результатов экспериментов с LLM. Поддерживает одиночные или сравнительные эксперименты, исследовательский режим или режим вопросов и ответов. Используйте, когда пользователь говорит «проанализировать эксперимент», «сравнить…»

Управление логами — поиск, пайплайны, архивы и контроль затрат.

Управление мониторами — создание, обновление, отключение звука и лучшие практики оповещения.

dd-audit-cost-spike-investigation

Исследовать всплеск использования или затрат на продукт Datadog путем корреляции данных Usage Metering (когда/что выросло) с изменениями конфигурации Audit Trail (кто и что изменил в…

dd-audit-key-compromise

Расследование потенциально скомпрометированного API-ключа Datadog — временная шкала действий, разбивка по гео/IP, вызванные конечные точки, флаги аномалий и шаги по устранению.

Анализ первопричин на основе производственных трассировок LLM с использованием результатов оценки судьи в качестве сигнала. Диагностирует причины сбоев в приложении пользователя. Используйте, когда пользователь говорит «eval…

dd-account-setup

Убедитесь, что у пользователя есть аутентифицированная учётная запись Datadog с действительным DD_API_KEY в правильном регионе перед любой настройкой или инструментированием Datadog. Обнаруживает существующ…