提供使用 torchtitan 的 PyTorch 原生分散式 LLM 預訓練,支援 4D 平行化(FSDP2、TP、PP、CP)。適用於預訓練 Llama 3.1、DeepSeek V3 或…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan