distributed-llm-pretraining-torchtitan
โดย firecrawl
ให้บริการการฝึกอบรมล่วงหน้า LLM แบบกระจายที่ใช้ PyTorch ดั้งเดิมด้วย torchtitan และการขนานแบบ 4D (FSDP2, TP, PP, CP) ใช้เมื่อฝึกอบรมล่วงหน้า Llama 3.1, DeepSeek V3 หรือ…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan