awq-quantization
от firecrawl
Активационно-зависимая весовaя квантизация для 4-битного сжатия LLM с ускорением в 3 раза и минимальной потерей точности. Используется при развертывании больших моделей (7B-70B) на ограниченных...
npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization