llm-obs-eval-bootstrap

作者： datadog-labs

根据生产追踪记录引导评估器——默认情况下，建议在线LLM评判评估器，并在您确认后，在Datadog中将其创建为已禁用的草稿…

npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-eval-bootstrap

下载 ZIP GitHub

来自 datadog-labs 的更多技能

dd-audit-compliance-report

从Datadog审计日志生成符合SOC 2和PCI DSS标准的审计证据，将框架控制映射到特定查询模式并生成…

experiment-analyzer

分析LLM实验结果。支持单一或对比实验，探索性或问答模式。当用户说“分析实验”、“比较…”时使用。

日志管理 - 搜索、管道、归档及成本控制。

监控管理 - 创建、更新、静默及告警最佳实践。

dd-audit-cost-spike-investigation

通过关联使用量计量数据（何时/何物激增）与审计追踪配置变更（谁在何时更改了哪些内容），调查 Datadog 产品使用量或成本激增的原因。

dd-audit-key-compromise

调查可能被泄露的Datadog API密钥——操作时间线、地理位置/IP分布、调用的端点、异常标记以及修复步骤。

基于评估判断结果作为信号，对生产环境中的大语言模型追踪进行根因分析。诊断用户应用失败的原因。当用户提到“eval…”时使用。

dd-account-setup

确保用户拥有经过认证的 Datadog 账户，并在正确的区域具有有效的 DD_API_KEY，然后才能进行任何 Datadog 设置或埋点。检测现有……