llm-obs-eval-pipeline
作成者： datadog-labs
エンドツーエンドのLLM可観測性パイプライン。計装化されたml_app向け — 本番トレースの分類、障害の根本原因特定、評価器のブートストラップ、そして（オプションで）…
npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-eval-pipelinedatadog-labsのその他のスキル
dd-audit
datadog-labs
監査証跡の調査 - 誰が何を変更したか、鍵の侵害、コスト急増の根本原因、コンプライアンス証拠（SOC 2/PCI）、およびAIアクティビティの監査。
official
agent-install
datadog-labs
Datadog Operatorを使用してKubernetesにDatadog Agentをインストールします — Single Step Instrumentation (SSI)を有効にする前に必要であり、これは自動的に…
official
agent-observability-auto-experiment
datadog-labs
実在のDatadog LLM-Obsデータに対して、Claude Codeをエージェントとして、反復的なコード改善のヒルクライムをローカルで実行します。ベースライン評価を確立し、1つの…
official
agent-observability-eval-bootstrap
datadog-labs
本番トレースから評価器を初期設定する — デフォルトではオンラインLLM-judge評価器を提案し、確認後にDatadogで無効なドラフトとして作成します…
official
agent-observability-eval-pipeline
datadog-labs
計装されたml_app向けのエンドツーエンドのエージェント可観測性パイプライン — 本番トレースを分類し、障害の根本原因を特定し、評価器をブートストラップし、その後（オプションで）…
official
agent-observability-experiment-analyzer
datadog-labs
LLM実験結果を分析します。単一または比較実験、探索的またはQ&Aモードに対応します。ユーザーが「analyze experiment」「compare…」と言った場合に使用します。
official
agent-observability-replay-trace
datadog-labs
開発者が、出力が気に入らなかった特定のAgent Observability / LLM Obsトレースに対して反復作業を行いたい場合に使用します — そのトレースを再実行して…
official
agent-observability-trace-rca
datadog-labs
本番環境のLLMトレースに対する根本原因分析。LLMアプリケーションが失敗する理由を診断し、評価ジャッジの判定、ランタイムエラー、または構造的な問題から分析を開始します…
official