llm-obs-eval-pipeline

द्वारा datadog-labs

एंड-टू-एंड एलएलएम ऑब्जर्वेबिलिटी पाइपलाइन एक इंस्ट्रूमेंटेड ml_app के लिए — उत्पादन ट्रेस को वर्गीकृत करें, रूट-कॉज़ विफलताओं को पहचानें, मूल्यांकनकर्ताओं को बूटस्ट्रैप करें, फिर (वैकल्पिक रूप से)…

npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-eval-pipeline

ZIP डाउनलोड करें GitHub

datadog-labs की और Skills

ऑडिट ट्रेल जांच - किसने क्या बदला, कुंजी समझौता, लागत वृद्धि का मूल कारण, अनुपालन साक्ष्य (SOC 2/PCI), और AI गतिविधि ऑडिटिंग।

Datadog Agent को Kubernetes पर Datadog Operator का उपयोग करके स्थापित करें — Single Step Instrumentation (SSI) को सक्षम करने से पहले आवश्यक है, जो स्वचालित रूप से…

agent-observability-auto-experiment

वास्तविक Datadog LLM-Obs डेटा के विरुद्ध, स्थानीय रूप से, Claude Code को एजेंट के रूप में उपयोग करते हुए एक पुनरावृत्तीय कोड-सुधार हिल-क्लाइंब चलाएँ। एक बेसलाइन मूल्यांकन स्थापित करता है, एक…

agent-observability-eval-bootstrap

प्रोडक्शन ट्रेस से इवैल्यूएटर बूटस्ट्रैप करें — डिफ़ॉल्ट रूप से ऑनलाइन LLM-जज इवैल्यूएटर प्रस्तावित करें और, आपके पुष्टि करने के बाद, उन्हें Datadog में अक्षम ड्राफ़्ट के रूप में बनाएँ…

agent-observability-eval-pipeline

इंस्ट्रुमेंटेड ml_app के लिए एंड-टू-एंड Agent Observability पाइपलाइन — प्रोडक्शन ट्रेसेस को वर्गीकृत करें, रूट-कॉज़ फेलियर्स, बूटस्ट्रैप इवैल्यूएटर्स, फिर (वैकल्पिक रूप से)…

agent-observability-experiment-analyzer

LLM प्रयोग परिणामों का विश्लेषण करें। एकल या तुलनात्मक प्रयोगों, खोजपूर्ण या प्रश्नोत्तर मोड को संभालता है। उपयोग करें जब उपयोगकर्ता कहे "प्रयोग का विश्लेषण करें", "तुलना करें…

agent-observability-replay-trace

Use when a developer wants to iterate on ONE specific Agent Observability / LLM Obs trace whose output they didn't like — re-running that trace against their…

agent-observability-trace-rca

प्रोडक्शन LLM ट्रेस पर मूल कारण विश्लेषण। यह निदान करता है कि LLM एप्लिकेशन क्यों विफल हो रहा है — मूल्यांकन निर्णायक फैसलों, रनटाइम त्रुटियों, या संरचनात्मक…