nat-evaluation

작성자: nvidia

NeMo Agent Toolkit 평가를 설계, 구성, 실행 또는 문제 해결할 때, 데이터셋, 평가자 선택, ATIF 표면, 품질 게이트 등에 사용합니다.

npx skills add https://github.com/nvidia/nemo-agent-toolkit --skill nat-evaluation
ZIP 다운로드GitHub
2.6k
이 스킬 사용해 보기스폰서

NeMo Agent Toolkit Evaluation

Use this skill for measuring agent quality and behavior.

Workflow

  1. Decide the evaluation surface and output format.
  2. Decompose quality goals into separate evaluators.
  3. Choose built-in evaluators before writing custom evaluators.
  4. Keep datasets small and explicit for local validation.
  5. Run nat eval and inspect generated artifacts.

References

  • references/operating-mode.md
  • references/methodology.md
  • references/agent-eval-framework.md
  • references/evaluation-surfaces.md
  • references/evaluation-contract.md
  • references/evaluators/
  • references/code-patterns.md

nvidia의 다른 스킬

compileiq-debug
nvidia
무언가 잘못되었을 때 사용: Search()가 멈추거나, 모든 평가가 INVALID_SCORE를 반환하거나, 점수가 개선되지 않거나, 모든 설정이 동일한 숫자를 반환하거나, ptxas 오류 등이 발생할 때
create-github-pr
nvidia
gh CLI를 사용하여 GitHub 풀 리퀘스트를 생성합니다. 사용자가 새 PR을 만들거나, 코드 리뷰를 제출하거나, 풀 리퀘스트를 열고자 할 때 사용합니다. 트리거 키워드 -…
nemoclaw-maintainer-cross-issue-sweep
nvidia
다른 열린 이슈들을 스캔하여 주어진 PR이 함께 수정하거나 실수로 망가뜨릴 수 있는 이슈를 찾습니다. 인접 수정 기회와 모순 위험을 file:line…과 함께 출력합니다.
fhir-basics
nvidia
에이전트에게 FHIR R4 API의 작동 방식, 사용 가능한 리소스, 검색 매개변수를 사용한 쿼리 방법, 모든 응답 형식을 올바르게 파싱하는 방법을 가르칩니다…
compileiq-validate-result
nvidia
검색이 완료된 후, 속도 향상을 청구하거나 ACF를 발송하기 전에 사용합니다. dump_results CSV를 로드하고, 상위 K개 후보(단일 목표)를 추출합니다…
changelog-audit
nvidia
릴리스 전에 Warp CHANGELOG.md를 감사합니다: 누락된 항목 복구, 사용자 영향별 정렬, 항목 언어 다듬기, 줄 바꿈, (릴리스 브랜치 모드) 비교 업데이트…
maintain-dynamic-plugins
nvidia
NeMo Relay 동적 플러그인 로더, 매니페스트, Rust 네이티브 SDK, gRPC 워커 프로토콜, Python 워커 SDK, 문서, 테스트 및 릴리스 워크플로 커버리지를 유지 관리합니다.
dgx-diagnose
nvidia
일반적인 DGX Station GB300 문제 진단 — CUDA 충돌, 잘못된 GPU 타겟팅, vLLM/SGLang 컨테이너 버그, MIG 상태 문제, NVLink/Fabric Manager 오류,…