概念Activation-aware Weight Quantization

AWQ

激活感知权重量化技术，通过分析激活值分布保护关键权重，在相同比特数下实现更低精度损失的模型量化方案

来源文章

270亿参数大模型压进iPhone？端侧AI全参数运行技术解析7月21日 MiniMax M3本地部署：激活参数23B≠显存23B，MoE架构全解析7月21日 27B大模型跑进iPhone：1-bit量化如何实现极限压缩7月20日 Bonsai 27B：首个在手机运行的1-bit大模型，端侧AI新突破7月17日旗舰模型vs本地27B：谁更忠实执行代码指令？7月10日