distributed-llm-pretraining-torchtitan
oleh firecrawl
Menyediakan pelatihan awal LLM terdistribusi asli PyTorch menggunakan torchtitan dengan paralelisme 4D (FSDP2, TP, PP, CP). Gunakan saat melatih awal Llama 3.1, DeepSeek V3, atau…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan