distributed-llm-pretraining-torchtitan
par firecrawl
Fournit un pré-entraînement distribué de LLM natif PyTorch utilisant torchtitan avec parallélisme 4D (FSDP2, TP, PP, CP). À utiliser lors du pré-entraînement de Llama 3.1, DeepSeek V3, ou…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan