distributed-llm-pretraining-torchtitan
tarafından firecrawl
PyTorch tabanlı dağıtık LLM ön eğitimi sağlar; torchtitan ile 4D paralellik (FSDP2, TP, PP, CP) kullanır. Llama 3.1, DeepSeek V3 veya… ön eğitimi yaparken kullanın.
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan