run-on-slurm
von nvidia
Wie man verteilte Megatron-LM-Trainingsjobs auf einem SLURM-Cluster startet. Behandelt ein minimales sbatch-Gerüst, die Einrichtung von Umgebungsvariablen für torch.distributed.run,…
npx skills add https://github.com/nvidia/megatron-lm --skill run-on-slurm