awq-quantization
tarafından firecrawl
Aktivasyon farkındalıklı ağırlık nicelemesi, 4-bit LLM sıkıştırması için 3 kat hızlanma ve minimum doğruluk kaybı sağlar. Büyük modelleri (7B-70B) sınırlı kaynaklarla dağıtırken kullanın…
npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization