量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
核心事实
时间轴 (近 90 天)
4位量化可将模型内存需求减少约75%，使原本需50GB以上显存的模型能跑在32GB统一内存的Mac上。
量化和剪枝结合可把模型体积缩小一到两个数量级，代价是生成质量下降。
过去一年，开源模型的能力和效率快速提升，量化、蒸馏、小型化等技术让消费级硬件也能跑出可用的效果。
原文所说的“组合”，很可能就是量化降低显存占用后，再配合批处理提升并发吞吐。
在语言模型推理优化中，常见手段大致可分为两类：一类是降低单次推理的计算与显存开销（如量化、知识蒸馏、稀疏化与剪枝），另一类是减少重复计算、提升吞吐（如KV Cache复用、前缀缓存、连续批处理与投机解码）。
量化对模型行为的影响并非线性，低比特量化可能因正则化效应减少特定错误模式，但高度依赖模型和任务。
可本地部署的语音模型通常意味着权重经过量化（如4-bit或8-bit），并配合流式分块推理以控制首包延迟。
可变形卷积中的双线性插值和动态偏移预测对量化较为敏感，低比特量化可能放大插值误差。
本地运行开源模型时，量化越激进，模型越小、越快，但精度损失也越明显。
一位约一年经验的印度汽车嵌入式软件工程师，技术栈覆盖 C/C++、Python、嵌入式系统、ARM、RTOS 和 Linux 基础，正在学习机器学习和深度学习基础，并计划围绕 ASR/TTS、模型部署、ONNX、量化及边缘硬件推理构建实战项目。
还有 40 条时间轴事件
全部知识事实 (20)
量化技术通过将 32 位或 16 位浮点权重压缩为 4 位或 8 位整数表示，以牺牲少量精度换取内存与速度改善
90%已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证量化技术通过将模型权重从FP32/FP16压缩为INT8/INT4等低精度格式，可将模型体积缩减50%-75%
90%已验证模型量化的本质是将模型的浮点权重和激活值（通常是FP32）映射到低位宽表示（如INT8、INT4），从而降低内存占用、提升推理速度并减少功耗
85%已验证更小的模型在长推理链任务上的表现往往指数级下降而非线性退化
85%已验证对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著
80%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
80%已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证INT8量化约损失0.5%精度、显存减半，INT4量化显存压缩至原来的1/4、精度损失约1-3%
80%已验证模型量化是将神经网络权重从高精度浮点数压缩为低精度整数的技术
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证模型量化从FP32降至INT8能将推理速度提升3-4倍，但可能导致小目标检测精度下降
80%已验证微调一个7B参数的模型可能需要数十GB显存进行全参数微调
80%已验证32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用，一张NVIDIA RTX 4090（24GB显存）就能运行
80%已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行
80%