distributed-llm-pretraining-torchtitan
작성자: firecrawl
PyTorch 네이티브 분산 LLM 사전 학습을 제공하며, torchtitan을 사용하여 4D 병렬 처리(FSDP2, TP, PP, CP)를 지원합니다. Llama 3.1, DeepSeek V3 등의 사전 학습 시 사용하세요.
npx skills add https://github.com/firecrawl/ai-research-skills --skill distributed-llm-pretraining-torchtitan