distributed-llm-pretraining-torchtitan
от firecrawl
Обеспечивает нативное для PyTorch распределённое предварительное обучение LLM с использованием torchtitan и 4D-параллелизмом (FSDP2, TP, PP, CP). Используйте при предварительном обучении Llama 3.1, DeepSeek V3 или…
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan