llm-obs-eval-pipeline
por datadog-labs
Pipeline de observabilidade de LLM de ponta a ponta para um ml_app instrumentado — classificar traces de produção, identificar causas-raiz de falhas, inicializar avaliadores e, opcionalmente…
npx skills add https://github.com/datadog-labs/agent-skills --skill llm-obs-eval-pipelineMais skills de datadog-labs
dd-audit-compliance-report
datadog-labs
Gere evidências de conformidade prontas para auditoria a partir do Datadog Audit Trail para SOC 2 e PCI DSS. Mapeia controles de framework para padrões de consulta específicos e produz…
experiment-analyzer
datadog-labs
Analise resultados de experimentos de LLM. Lida com experimentos únicos ou comparativos, modos exploratórios ou de perguntas e respostas. Use quando o usuário disser "analisar experimento", "comparar…
dd-logs
datadog-labs
Gerenciamento de logs - busca, pipelines, arquivos e controle de custos.
dd-monitors
datadog-labs
Gerenciamento de monitores - criar, atualizar, silenciar e práticas recomendadas de alerta.
dd-audit-cost-spike-investigation
datadog-labs
Investigue um pico de uso ou custo de produto Datadog correlacionando dados de Usage Metering (quando/o que disparou) com mudanças de configuração no Audit Trail (quem alterou o que em…
dd-audit-key-compromise
datadog-labs
Investigar uma chave de API do Datadog potencialmente comprometida — linha do tempo das ações, detalhamento geográfico/IP, endpoints chamados, flags de anomalia e etapas de remediação.
eval-trace-rca
datadog-labs
Análise de causa raiz em traces de LLM em produção usando resultados de avaliação como sinal. Diagnostica por que o aplicativo do usuário está falhando. Use quando o usuário disser "eval…
dd-account-setup
datadog-labs
Garanta que o usuário tenha uma conta Datadog autenticada com uma DD_API_KEY válida na região correta antes de qualquer configuração ou instrumentação do Datadog. Detecta existentes…