distributed-llm-pretraining-torchtitan
por firecrawl
Fornece pré-treinamento distribuído de LLM nativo do PyTorch usando torchtitan com paralelismo 4D (FSDP2, TP, PP, CP). Use ao pré-treinar Llama 3.1, DeepSeek V3 ou…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan