distributed-llm-pretraining-torchtitan
von firecrawl
Bietet PyTorch-natives verteiltes LLM-Pretraining mit torchtitan und 4D-Parallelität (FSDP2, TP, PP, CP). Verwenden Sie dies beim Pretraining von Llama 3.1, DeepSeek V3 oder…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan