awq-quantization
द्वारा firecrawl
एक्टिवेशन-अवेयर वेट क्वांटाइजेशन 4-बिट LLM संपीड़न के लिए, जो 3x गति वृद्धि और न्यूनतम सटीकता हानि प्रदान करता है। सीमित संसाधनों पर बड़े मॉडल (7B-70B) तैनात करते समय उपयोग करें।
npx skills add https://github.com/firecrawl/ai-research-skills --skill awq-quantization