Skills Nvidia

skills/skills/nemo-evaluator-plugin

Sử dụng khi làm việc với CLI của plugin Evaluator, các công việc, thông số kỹ thuật hỗ trợ SDK, loại số liệu hoặc các kỹ năng Evaluator do plugin sở hữu.

nemo-fabric/skills/nemo-fabric-integrate

Sử dụng kỹ năng này khi tích hợp NeMo Fabric vào một ứng dụng tiêu dùng, dịch vụ, bộ khung đánh giá hoặc nền tảng thông qua Python SDK có kiểu — dịch…

skills/skills/nemo-mbridge-mlm-bridge-training

Chạy huấn luyện Megatron-LM (MLM) và Megatron Bridge với dữ liệu giả hoặc thực. Bao gồm kiểm tra tương quan, các công thức có sẵn và ví dụ đa GPU.

skills/skills/nemo-mbridge-multi-node-slurm

Chuyển đổi các tập lệnh đơn nút thành công việc sbatch Slurm đa nút và gỡ lỗi các lỗi đa nút phổ biến. Bao gồm các phương pháp srun-native và uv run torch.distributed,…

skills/skills/nemo-mbridge-perf-activation-recompute

Xác thực và sử dụng tính năng tính toán lại kích hoạt có chọn lọc và toàn bộ trong Megatron Bridge để giảm mức sử dụng bộ nhớ GPU với chi phí tính toán bổ sung.

skills/skills/nemo-mbridge-perf-cpu-offloading

Xác thực và sử dụng tính năng giảm tải CPU trong Megatron Bridge, bao gồm giảm tải kích hoạt ở cấp độ lớp và giảm tải trạng thái tối ưu hóa phân đoạn với…

skills/skills/nemo-mbridge-perf-cuda-graphs

Xác thực và sử dụng tính năng chụp đồ thị CUDA trong Megatron Bridge, bao gồm đồ thị toàn bộ vòng lặp cục bộ và đồ thị phạm vi Transformer Engine cho attention, MLP và MoE…

skills/skills/nemo-mbridge-perf-expert-parallel-overlap

Xác thực và sử dụng tính năng chồng chéo giao tiếp song song chuyên gia MoE trong Megatron-Bridge, bao gồm overlap_moe_expert_parallel_comm, delay_wgrad_compute, và flex…

skills/skills/nemo-mbridge-perf-hierarchical-context-parallel

Hướng dẫn vận hành để kích hoạt song song ngữ cảnh phân cấp trong Megatron-Bridge, bao gồm các nút cấu hình, điểm neo mã, cạm bẫy và xác minh.

skills/skills/nemo-mbridge-perf-megatron-fsdp

Hướng dẫn vận hành để kích hoạt Megatron FSDP trong Megatron-Bridge, bao gồm các núm cấu hình, điểm neo mã, cạm bẫy và xác minh.

skills/skills/nemo-mbridge-perf-memory-tuning

Các kỹ thuật giảm bộ nhớ GPU đỉnh trong Megatron Bridge — các phân đoạn có thể mở rộng, thu thập lại đầu vào PEFT + SP, thay đổi kích thước song song, tính toán lại kích hoạt, CPU…

skills/skills/nemo-mbridge-perf-moe-comm-overlap

Tương tác giao tiếp song song chuyên gia MoE trong Megatron Bridge. Bao gồm tối ưu hóa dispatch/combine, các backend flex dispatcher, và lập lịch expert wgrad.

skills/skills/nemo-mbridge-perf-moe-dispatcher-selection

Choose the right MoE token dispatcher (`alltoall`, DeepEP, or HybridEP) for the hardware, EP degree, and optimization stage. Summarizes patterns from DSV3,…

skills/skills/nemo-mbridge-perf-moe-hardware-configs

Các sổ tay huấn luyện MoE tiêu biểu theo nền tảng phần cứng và dòng mô hình. Tổng hợp các dải thông lượng đã làm tròn, các mẫu song song hóa và các điều chỉnh phổ biến…

skills/skills/nemo-mbridge-perf-moe-long-context

Hướng dẫn huấn luyện MoE ngữ cảnh dài cho Megatron Bridge. Bao gồm định cỡ CP, tính toán lại chọn lọc, lựa chọn bộ điều phối và các mẫu thực tế từ DSV3, Qwen3 và…

skills/skills/nemo-mbridge-perf-moe-optimization-workflow

Quy trình làm việc có hệ thống để tối ưu hóa huấn luyện MoE trong Megatron Bridge, dựa trên bài báo Megatron-Core MoE. Bao gồm khung Three Walls, gấp song song,…

skills/skills/nemo-mbridge-perf-moe-vlm-training

Hướng dẫn thực tế để huấn luyện MoE VLM trong Megatron Bridge. So sánh các phương pháp FSDP và song song 3D, sử dụng các bài học thực tế từ Qwen3-VL, Qwen3-Next, và…

skills/skills/nemo-mbridge-perf-parallelism-strategies

Hướng dẫn vận hành để lựa chọn và kết hợp các chiến lược song song trong Megatron Bridge, bao gồm quy tắc định cỡ, ánh xạ cấu trúc liên kết phần cứng và kết hợp…

skills/skills/nemo-mbridge-perf-sequence-packing

Xác thực và sử dụng các chuỗi được đóng gói và huấn luyện ngữ cảnh dài trong Megatron-Bridge, phân biệt giữa SFT đóng gói ngoại tuyến cho LLM và đóng gói trong batch cho VLM, và…

skills/skills/nemo-mbridge-perf-tp-dp-comm-overlap

Hướng dẫn vận hành để kích hoạt chồng chéo giao tiếp TP, DP và PP trong Megatron-Bridge, bao gồm các nút cấu hình, điểm neo mã, cạm bẫy và xác minh.

skills/skills/nemo-mbridge-recipe-recommender

Đề xuất và tùy chỉnh các công thức Megatron Bridge cho mô hình, số lượng GPU và mục tiêu huấn luyện của người dùng. Lập chỉ mục các công thức thư viện (pretrain/SFT/PEFT) và hiệu suất…

skills/skills/nemo-mbridge-resiliency

Các tính năng phục hồi trong Megatron Bridge bao gồm khả năng chịu lỗi, phát hiện nút chậm, khởi động lại trong tiến trình, ưu tiên ngắt và máy trạng thái chạy lại.

nemo-relay/skills/nemo-relay-build-plugin

Xây dựng và đóng gói hành vi runtime NeMo Relay có thể tái sử dụng dưới dạng plugin kích hoạt bằng cấu hình, kèm xác thực và đăng ký an toàn có thể rollback.

nemo-relay/skills/nemo-relay-debug-runtime-integration

Gỡ lỗi các vấn đề tích hợp NeMo Relay phía ứng dụng như lỗi tải, phạm vi không hoạt động, sự kiện bị thiếu hoặc vấn đề kết nối thích ứng/plugin

skills/skills/nemo-relay-debug-runtime-integration

Sử dụng kỹ năng này khi NeMo Relay được cài đặt hoặc import nhưng hành vi runtime phía ứng dụng bị thiếu hoặc không chính xác, bao gồm lỗi tải, không hoạt động…

nemo-relay/skills/nemo-relay-export-atif-trajectories

Xuất hoạt động NeMo Relay dưới dạng quỹ đạo ATIF để phát lại, phân tích hoặc trao đổi

nemo-relay/skills/nemo-relay-export-openinference

Cấu hình và sử dụng tính năng xuất OpenInference của NeMo Relay cho các backend OTLP hỗ trợ ngữ nghĩa OpenInference

nemo-relay/skills/nemo-relay-export-otel

Cấu hình và sử dụng tính năng xuất OpenTelemetry của NeMo Relay cho các hệ thống backend theo dõi tương thích OTLP

nemo-relay/skills/nemo-relay-get-started

Sử dụng kỹ năng này khi người dùng NeMo Relay lần đầu muốn dùng thử Relay, chọn hướng dẫn bắt đầu nhanh có độ phức tạp thấp nhất được hỗ trợ, hoặc xác minh giá trị ban đầu thông qua CLI, một…

skills/skills/nemo-relay-get-started

Sử dụng kỹ năng này khi người dùng NeMo Relay lần đầu muốn dùng thử Relay, chọn bản khởi động nhanh được hỗ trợ đơn giản nhất, hoặc xác minh giá trị ban đầu qua CLI, a…