llm-obs-eval-bootstrap

Investigations de piste d'audit - qui a modifié quoi, compromission de clé, cause racine de pic de coût, preuve de conformité (SOC 2/PCI), et audit d'activité IA.

Installez l'Agent Datadog sur Kubernetes à l'aide de l'Operator Datadog — requis avant d'activer Single Step Instrumentation (SSI), qui automatiquement…

Exécute une montée de colline itérative d'amélioration de code sur de vraies données Datadog LLM-Obs, localement, avec Claude Code comme agent. Établit une évaluation de référence, effectue une…

Bootstrap evaluators from production traces — by default propose online LLM-judge evaluators and, after you confirm, create them in Datadog as disabled drafts…

End-to-end Agent Observability pipeline for an instrumented ml_app — classify production traces, root-cause failures, bootstrap evaluators, then (optionally)…

Analyze LLM experiment results. Handles single or comparative experiments, exploratory or Q&A modes. Use when user says "analyze experiment", "compare…

Use when a developer wants to iterate on ONE specific Agent Observability / LLM Obs trace whose output they didn't like — re-running that trace against their…

Analyse des causes racines sur les traces LLM en production. Diagnostique pourquoi une application LLM échoue — fonctionne à partir des verdicts des juges d'évaluation, des erreurs d'exécution ou des éléments structurels…