llm-obs-eval-pipeline

作者： datadog-labs

端到端LLM可觀測性管線，用於已儀器化的ml_app——分類生產追蹤、根因故障、引導評估器，然後（可選地）……

npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-eval-pipeline

下載 ZIP GitHub

來自 datadog-labs 的更多技能

dd-audit-compliance-report

從 Datadog Audit Trail 生成符合 SOC 2 和 PCI DSS 的稽核證據，將框架控制項對應至特定查詢模式，並產出…

experiment-analyzer

分析LLM實驗結果。處理單一或對比實驗、探索性或問答模式。當使用者說「分析實驗」、「比較…」時使用。

日誌管理 - 搜尋、管道、歸檔與成本控制。

監控管理 - 建立、更新、靜音及警示最佳實踐。

dd-audit-cost-spike-investigation

調查 Datadog 產品用量或成本異常飆升，透過關聯用量計量資料（何時/何項目飆升）與稽核軌跡設定變更（誰變更了哪些設定…）

dd-audit-key-compromise

調查可能遭入侵的 Datadog API 金鑰 — 動作時間軸、地理位置/IP 分析、呼叫的端點、異常標記及補救步驟。

根據評估判斷結果作為信號，對生產環境中的LLM追蹤進行根本原因分析。診斷用戶應用程式為何失敗。當用戶說「評估…」時使用。

dd-account-setup

確保用戶在進行任何Datadog設置或儀器化之前，已擁有已驗證的Datadog帳戶，並在正確區域具有有效的DD_API_KEY。偵測現有的…