awq-quantization

作者: firecrawl

針對4位元LLM壓縮的激活感知權重量化,可實現3倍加速且準確度損失極小。適用於在有限資源下部署大型模型(7B-70B)時使用…

npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization

來自 firecrawl 的更多技能