llm-obs-eval-pipeline

การตรวจสอบเส้นทางการตรวจสอบ - ใครเปลี่ยนแปลงอะไร การประนีประนอมคีย์ สาเหตุหลักของต้นทุนที่เพิ่มขึ้น หลักฐานการปฏิบัติตามข้อกำหนด (SOC 2/PCI) และการตรวจสอบกิจกรรม AI

ติดตั้ง Datadog Agent บน Kubernetes โดยใช้ Datadog Operator — จำเป็นก่อนเปิดใช้งาน Single Step Instrumentation (SSI) ซึ่งจะ...

ดำเนินการปรับปรุงโค้ดแบบวนซ้ำ (hill-climb) กับข้อมูล Datadog LLM-Obs จริงในเครื่องท้องถิ่น โดยใช้ Claude Code เป็นเอเจนต์ เริ่มต้นด้วยการสร้างการประเมิน baseline จากนั้นทำการปรับปรุงหนึ่งครั้ง…

เริ่มต้นตัวประเมินจาก trace การผลิตจริง — โดยค่าเริ่มต้นจะเสนอตัวประเมิน LLM-judge แบบออนไลน์ และหลังจากคุณยืนยันแล้ว จะสร้างใน Datadog เป็นฉบับร่างที่ถูกปิดใช้งาน…

ไปป์ไลน์การสังเกตการณ์เอเจนต์แบบครบวงจรสำหรับ ml_app ที่ถูกติดตั้งเครื่องมือวัด — จัดหมวดหมู่ production traces วิเคราะห์สาเหตุต้นตอของความล้มเหลว เริ่มต้นตัวประเมิน จากนั้น (ทางเลือก)…

วิเคราะห์ผลการทดลอง LLM รองรับการทดลองเดี่ยวหรือการทดลองเปรียบเทียบ โหมดสำรวจหรือถาม-ตอบ ใช้เมื่อผู้ใช้พูดว่า "วิเคราะห์การทดลอง" "เปรียบเทียบ…

ใช้เมื่อนักพัฒนาต้องการปรับปรุง trace ของ Agent Observability / LLM Obs เฉพาะหนึ่งรายการที่ผลลัพธ์ไม่เป็นที่พอใจ — รัน trace นั้นซ้ำกับ…

การวิเคราะห์หาสาเหตุต้นตอจากร่องรอยของ LLM ในระบบผลิตจริง วินิจฉัยว่าเหตุใดแอปพลิเคชัน LLM จึงทำงานล้มเหลว โดยทำงานจากคำตัดสินของตัวประเมินeval ข้อผิดพลาดรันไทม์ หรือโครงสร้าง...