llm-obs-eval-bootstrap

Denetim izi incelemeleri - kimin neyi değiştirdiği, anahtar uzlaşması, maliyet artışının temel nedeni, uyumluluk kanıtı (SOC 2/PCI) ve yapay zeka etkinlik denetimi.

Install the Datadog Agent on Kubernetes using the Datadog Operator — required before enabling Single Step Instrumentation (SSI), which automatically…

Gerçek Datadog LLM-Obs verilerine karşı, Claude Code'u ajan olarak kullanarak yerel olarak yinelemeli kod iyileştirme tepe tırmanışı çalıştırın. Bir temel değerlendirme oluşturur, bir tane yapar…

Üretim izlerinden değerlendiricileri başlatın — varsayılan olarak çevrimiçi LLM-jüri değerlendiricileri önerir ve siz onayladıktan sonra bunları Datadog'da devre dışı taslaklar olarak oluşturur…

Enstrümante edilmiş ml_app için uçtan uca Agent Observability hattı — üretim izlerini sınıflandırın, kök neden arızalarını tespit edin, değerlendiricileri başlatın, ardından (isteğe bağlı olarak)…

LLM deney sonuçlarını analiz edin. Tek veya karşılaştırmalı deneyleri, keşifsel veya soru-cevap modlarını işler. Kullanıcı "deneyi analiz et", "karşılaştır…" dediğinde kullanın.

Bir geliştirici, çıktısını beğenmediği belirli bir TEK Agent Observability / LLM Obs trace'i üzerinde yineleme yapmak istediğinde kullanın — o trace'i kendi… ile yeniden çalıştırma

Üretim LLM izlerinde kök neden analizi. Bir LLM uygulamasının neden başarısız olduğunu teşhis eder — değerlendirme yargıcı kararlarından, çalışma zamanı hatalarından veya yapısal…