awq-quantization
bởi firecrawl
Lượng tử hóa trọng số nhận biết kích hoạt cho nén LLM 4-bit với tốc độ tăng gấp 3 lần và tổn thất độ chính xác tối thiểu. Sử dụng khi triển khai các mô hình lớn (7B-70B) trên nguồn lực hạn chế…
npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization