llm-obs-eval-bootstrap

Investigações de trilha de auditoria - quem alterou o quê, comprometimento de chave, causa raiz de pico de custo, evidência de conformidade (SOC 2/PCI) e auditoria de atividade de IA.

Instale o Datadog Agent no Kubernetes usando o Datadog Operator — necessário antes de habilitar o Single Step Instrumentation (SSI), que automaticamente...

Execute uma escalada iterativa de melhoria de código contra dados reais de LLM-Obs da Datadog, localmente, com Claude Code como agente. Estabelece uma avaliação de linha de base, faz uma…

Inicializar avaliadores a partir de traces de produção — por padrão, propor avaliadores online do LLM-judge e, após sua confirmação, criá-los no Datadog como rascunhos desabilitados…

Pipeline de Observabilidade de Agente de ponta a ponta para um ml_app instrumentado — classificar traces de produção, identificar causas-raiz de falhas, inicializar avaliadores e, opcionalmente…

Analise resultados de experimentos de LLM. Lida com experimentos únicos ou comparativos, modos exploratórios ou de perguntas e respostas. Use quando o usuário disser "analisar experimento", "comparar…

Use quando um desenvolvedor quiser iterar em UM trace específico de Agent Observability / LLM Obs cuja saída não agradou — reexecutando esse trace contra seu…

Análise de causa raiz em traces de LLM em produção. Diagnostica por que uma aplicação de LLM está falhando — funciona a partir de veredictos de juízes de avaliação, erros de tempo de execução ou estruturais…