distributed-llm-pretraining-torchtitan
bởi firecrawl
Cung cấp khả năng tiền huấn luyện LLM phân tán gốc PyTorch bằng torchtitan với song song 4D (FSDP2, TP, PP, CP). Sử dụng khi tiền huấn luyện Llama 3.1, DeepSeek V3, hoặc…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan