distributed-llm-pretraining-torchtitan
por firecrawl
Proporciona preentrenamiento distribuido de LLM nativo de PyTorch usando torchtitan con paralelismo 4D (FSDP2, TP, PP, CP). Úselo al preentrenar Llama 3.1, DeepSeek V3 o…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan