distributed-llm-pretraining-torchtitan
द्वारा firecrawl
PyTorch-मूल वितरित LLM प्रीट्रेनिंग प्रदान करता है, जो torchtitan के साथ 4D समानांतरता (FSDP2, TP, PP, CP) का उपयोग करता है। Llama 3.1, DeepSeek V3, या… के प्रीट्रेनिंग के समय उपयोग करें।
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan