eval-trace-rca

द्वारा datadog-labs

उत्पादन LLM ट्रेस पर मूल कारण विश्लेषण, eval जज परिणामों को संकेत के रूप में उपयोग करते हुए। निदान करता है कि उपयोगकर्ता का एप्लिकेशन क्यों विफल हो रहा है। उपयोग करें जब उपयोगकर्ता "eval…" कहे।

npx skills add https://github.com/datadog-labs/agent-skills --skill eval-trace-rca

ZIP डाउनलोड करें GitHub

datadog-labs की और Skills

ऑडिट ट्रेल जांच - किसने क्या बदला, कुंजी समझौता, लागत वृद्धि का मूल कारण, अनुपालन साक्ष्य (SOC 2/PCI), और AI गतिविधि ऑडिटिंग।

Datadog Agent को Kubernetes पर Datadog Operator का उपयोग करके स्थापित करें — Single Step Instrumentation (SSI) को सक्षम करने से पहले आवश्यक है, जो स्वचालित रूप से…

agent-observability-auto-experiment

वास्तविक Datadog LLM-Obs डेटा के विरुद्ध, स्थानीय रूप से, Claude Code को एजेंट के रूप में उपयोग करते हुए एक पुनरावृत्तीय कोड-सुधार हिल-क्लाइंब चलाएँ। एक बेसलाइन मूल्यांकन स्थापित करता है, एक…

agent-observability-eval-bootstrap

प्रोडक्शन ट्रेस से इवैल्यूएटर बूटस्ट्रैप करें — डिफ़ॉल्ट रूप से ऑनलाइन LLM-जज इवैल्यूएटर प्रस्तावित करें और, आपके पुष्टि करने के बाद, उन्हें Datadog में अक्षम ड्राफ़्ट के रूप में बनाएँ…

agent-observability-eval-pipeline

इंस्ट्रुमेंटेड ml_app के लिए एंड-टू-एंड Agent Observability पाइपलाइन — प्रोडक्शन ट्रेसेस को वर्गीकृत करें, रूट-कॉज़ फेलियर्स, बूटस्ट्रैप इवैल्यूएटर्स, फिर (वैकल्पिक रूप से)…

agent-observability-experiment-analyzer

LLM प्रयोग परिणामों का विश्लेषण करें। एकल या तुलनात्मक प्रयोगों, खोजपूर्ण या प्रश्नोत्तर मोड को संभालता है। उपयोग करें जब उपयोगकर्ता कहे "प्रयोग का विश्लेषण करें", "तुलना करें…

agent-observability-replay-trace

Use when a developer wants to iterate on ONE specific Agent Observability / LLM Obs trace whose output they didn't like — re-running that trace against their…

agent-observability-trace-rca

प्रोडक्शन LLM ट्रेस पर मूल कारण विश्लेषण। यह निदान करता है कि LLM एप्लिकेशन क्यों विफल हो रहा है — मूल्यांकन निर्णायक फैसलों, रनटाइम त्रुटियों, या संरचनात्मक…