distributed-llm-pretraining-torchtitan
作成者: firecrawl
PyTorchネイティブの分散LLM事前学習を、4D並列化(FSDP2、TP、PP、CP)を備えたtorchtitanを使用して提供します。Llama 3.1、DeepSeek V3などの事前学習時に使用します。
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan