量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
核心事实
时间轴 (近 90 天)
中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
现代量化算法能将INT4量化的性能损失控制在1-3%以内
一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
全部知识事实 (8)
一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
80%已验证量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
65%已验证模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%已验证现代量化算法能将INT4量化的性能损失控制在1-3%以内
65%已验证Q4量化将每个权重参数从16位压缩到4位，理论上可将模型体积缩小约75%
65%待验证中等参数量级模型可在单卡或双卡消费级/专业级GPU上运行，同时保留接近顶级模型的推理能力，是性价比之选
50%待验证研究表明大模型的强量化版本在同等资源下有时优于原生小模型，如70B模型量化到4-bit后综合表现往往优于原生的7B或13B全精度模型
50%待验证多项研究表明将70B模型量化到4-bit后，在同等内存预算下综合表现往往优于原生训练的7B或13B全精度模型
50%