awq-quantization
oleh firecrawl
Kuantisasi bobot sadar aktivasi untuk kompresi LLM 4-bit dengan percepatan 3x dan kehilangan akurasi minimal. Gunakan saat menerapkan model besar (7B-70B) pada sumber daya terbatas…
npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization