distributed-llm-pretraining-torchtitan

作者: firecrawl

提供使用 torchtitan 的 PyTorch 原生分散式 LLM 預訓練,支援 4D 平行化(FSDP2、TP、PP、CP)。適用於預訓練 Llama 3.1、DeepSeek V3 或…

npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan

來自 firecrawl 的更多技能