AWQ
激活感知权重量化技术，通过分析激活值分布保护关键权重，在相同比特数下实现更低精度损失的模型量化方案
核心事实
时间轴 (近 90 天)
量化通过降低数值精度（如将16位浮点映射到4位整数）来减少存储和计算开销，常见方案包括GPTQ、AWQ和GGUF格式。
不同量化格式（GGUF 的 Q4_K_M、AWQ、GPTQ、MLX 的 4bit 等）在速度和质量上存在差异。
AWQ是一种4-bit权重量化方法，通过保护对激活值影响大的权重通道来保持精度，降低显存占用但计算时仍需反量化。
7B AWQ模型在batch 32时3090已落后于L40S（0.71x），而7B fp16直到batch 128才被反超（0.72x），说明量化模型使计算瓶颈更早出现。
AWQ 和 GPTQ 都需要校准数据且推理端需要相应算子支持，在纯浏览器 WASM 环境中不如 GGUF 直接可用。
不同量化格式（GGUF、AWQ、GPTQ、bitsandbytes）的元数据开销和布局各不相同，加载时的内存峰值也可能不同。
1.5 bpw 已接近信息论意义上的极低区间，通常需要借助 GPTQ、AWQ 或向量量化等方法，并配合校准数据集来抑制精度崩塌
本地运行137B模型通常采用混合量化策略，如对关键层保留较高精度、对次要专家使用4-bit或3-bit量化，或采用GGUF、AWQ、GPTQ等格式配合llama.cpp、vLLM等推理框架。
主流量化方案包括 GPTQ、AWQ、GGUF 等，它们针对权重的分布特点做分组量化，能在压缩率与保真度之间取得较好平衡。
AWQ（Activation-aware Weight Quantization）是一种训练后量化方法，通过参考激活值判断哪些通道更重要来在 4-bit 量化时尽量保住精度
还有 40 条时间轴事件
全部知识事实 (20)
GPTQ 利用二阶梯度信息最小化量化误差，AWQ 识别并保护对激活值影响最大的权重，GGUF 由 llama.cpp 项目引入专为 CPU 推理优化
90%已验证NVFP4是NVIDIA推出的4位浮点（FP4）量化格式，专为Blackwell架构GPU的硬件加速能力设计
90%已验证AWQ（Activation-aware Weight Quantization）技术通过观察模型推理时的激活值，找出关键权重通道做特殊保护，其余权重压缩到4bit精度
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证AWQ（2023）发现权重中约1%的显著通道对模型输出影响最大，通过等价缩放保护这些通道
85%已验证GGUF 量化命名中 Q4_K_M 表示 4 位量化、使用 K-Quant 分组量化方法的中等精度（Medium）变体
80%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证GGUF是由llama.cpp项目引入的模型格式标准，支持Q2_K至Q8_0等多种量化级别
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证社区主流量化格式包括GGUF、AWQ和GPTQ，其中GGUF由llama.cpp项目推广并支持CPU推理
80%已验证AWQ 识别并保护对激活值影响最大的权重，在相同压缩率下通常比 GPTQ 取得更优的精度表现
80%已验证AWQ的核心洞察是只有约1%的显著权重对模型输出影响巨大，对其保护性处理可在极低比特宽度下维持模型质量
75%已验证INT4量化理论上可将模型显存占用压缩至FP16的四分之一，常用工具包括GPTQ、AWQ、GGUF等
75%已验证常见量化方案包括 GPTQ（需要 GPU）、AWQ 以及 llama.cpp 生态中的 GGUF 格式量化
65%已验证llama.cpp、Ollama、vLLM等推理框架适配Qwen模型权重，支持GGUF、AWQ、GPTQ等量化格式使其能运行在消费级GPU乃至CPU上
65%已验证现代量化方案如GPTQ、AWQ引入逐层校准和误差补偿机制，将困惑度损失控制在1–2%以内
65%已验证叠加K-quant、GPTQ、AWQ等技巧可将量化平稳延伸到4-bit，但推进到2-bit或1-bit时性能会灾难性崩塌
65%已验证GGUF格式支持4-bit、8-bit等多种精度级别，可将70亿参数模型的内存占用从约14GB（FP16）压缩至约4GB（Q4_K_M量化），推理精度损失通常在1-3%以内
65%已验证Ollama默认使用GGUF格式，常见量化格式还包括GPTQ
65%