nat-evaluation

作成者： nvidia

NeMo Agent Toolkitの評価、データセット、評価器の選択、ATIFサーフェス、品質ゲートの設計、設定、実行、トラブルシューティングを行う際に使用します。

npx skills add https://github.com/nvidia/nemo-agent-toolkit --skill nat-evaluation
ZIPダウンロードGitHub
2.7k

NeMo Agent Toolkit Evaluation

Use this skill for measuring agent quality and behavior.

Workflow

  1. Decide the evaluation surface and output format.
  2. Decompose quality goals into separate evaluators.
  3. Choose built-in evaluators before writing custom evaluators.
  4. Keep datasets small and explicit for local validation.
  5. Run nat eval and inspect generated artifacts.

References

  • references/operating-mode.md
  • references/methodology.md
  • references/agent-eval-framework.md
  • references/evaluation-surfaces.md
  • references/evaluation-contract.md
  • references/evaluators/
  • references/code-patterns.md

nvidiaのその他のスキル

fhir-basics
nvidia
エージェントにFHIR R4 APIの動作方法、利用可能なリソース、検索パラメータを使ったクエリ方法、およびすべてのレスポンス形式を正しく解析する方法を教えます…
compileiq-validate-result
nvidia
検索が完了した後、かつスピードアップの申請やACFの発送の前に使用します。dump_results CSVを読み込み、トップK候補（単一目的）を抽出します…
changelog-audit
nvidia
リリース前にWarp CHANGELOG.mdを監査：失われたエントリを復元、ユーザー影響で並べ替え、エントリの文言を洗練、行折り返し、および（リリースブランチモードで）比較をバンプ…
dgx-diagnose
nvidia
一般的なDGX Station GB300の問題（CUDAクラッシュ、誤ったGPUターゲット、vLLM/SGLangコンテナのバグ、MIG状態の問題、NVLink/Fabric Managerエラーなど）を診断します。
aicr-managing-openvex
nvidia
Use when adding, updating, or removing CVE/GHSA suppressions in `.openvex.json` — the OpenVEX document consumed by the daily image vulnerability scan workflow.…
aicr-creating-slide-decks
nvidia
技術的な概念やワークフロー（例：demos/*.html）の自己完結型HTMLスライドデッキやビジュアルトーキングポイントを作成する際に使用します。全画面表示または…
aicr-creating-guided-demos
nvidia
インタラクティブなガイド付きデモスクリプト（demos/*.sh）を、ライブ形式またはセルフペース形式で、Frame → Tell → Show → Close パターンに沿って作成します。「デモスクリプト」「ガイド付き…」というトリガーで起動します。
aicr-analyzing-snapshots
nvidia
AICRスナップショットYAMLファイルを分析する際、クラスタ状態を確認する際、プロバイダー特性を比較する際、GPU/ネットワークトポロジーの洞察を抽出する際、または…に使用します。