量化
量化是将连续或高精度数值映射为离散或低精度表示的方法，广泛应用于信号处理、机器学习和金融分析等领域。在深度学习中，量化技术通过降低模型权重与激活值的数值精度（如从32位浮点转为8位或4位整数），在减少存储占用和加速计算的同时尽量保留模型性能。
核心事实
时间轴 (近 90 天)
4比特量化在多数任务上仍能保持较好表现，是本地部署的常见折中方案。
本地模型部署与量化指用Ollama、vLLM、llama.cpp等工具在本地或私有服务器运行开源模型，并通过INT8/INT4等量化手段压缩显存占用、提升推理速度。
近年开源模型能力逼近闭源，很大程度上得益于指令微调数据质量的提升、混合专家（MoE）架构的普及，以及量化与推理框架的成熟。
推理平台的关键技术包括连续批处理（continuous batching）、KV缓存管理、量化与推测解码等。
量化退化往往不表现为流畅度下降，而是表现为“看似合理但实际错误”的输出，用户若不做针对性测试很难发现。
量化导致的模型退化具有任务依赖性——有些模型在Q4下几乎无损，有些则在复杂推理上明显掉点。
量化（Quantization）是将模型权重从高精度（如FP16、BF16）压缩到低精度（如8-bit、4-bit甚至更低）的技术，目的是降低显存占用、提升推理速度，使大模型能在消费级硬件上运行。
微调（Fine-tuning）与部署优化（如量化、蒸馏、推理加速）需要额外的人力与算力投入。
业界常见的应对显存不足的手段包括量化（如 4-bit 将权重压缩至约四分之一）、CPU-GPU 分层卸载以及张量并行分片。
4位量化可将模型内存需求减少约75%，使原本需50GB以上显存的模型能跑在32GB统一内存的Mac上。
还有 40 条时间轴事件
全部知识事实 (20)
量化技术通过将 32 位或 16 位浮点权重压缩为 4 位或 8 位整数表示，以牺牲少量精度换取内存与速度改善
90%已验证一个7B参数的模型经过4-bit量化后仅需约4GB显存即可运行
90%已验证常见的模型量化方法包括GPTQ、AWQ和GGUF等格式
90%已验证4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证一个70B参数的FP16模型大约需要140GB显存，INT8量化后约需70GB，INT4量化后约需35-40GB
90%已验证量化技术通过将模型权重从FP32/FP16压缩为INT8/INT4等低精度格式，可将模型体积缩减50%-75%
90%已验证模型量化的本质是将模型的浮点权重和激活值（通常是FP32）映射到低位宽表示（如INT8、INT4），从而降低内存占用、提升推理速度并减少功耗
85%已验证更小的模型在长推理链任务上的表现往往指数级下降而非线性退化
85%已验证对于参数量大于30B的模型，4-bit量化造成的性能损失通常在基准测试中下降1-3%，但对小模型影响更显著
80%已验证4-bit量化在损失约1-3%准确率的前提下，将模型体积缩减至原来的1/8
80%已验证量化技术将浮点运算转为定点运算，可将模型体积缩减4-8倍，推理速度提升2-4倍
80%已验证4-bit量化（如Q4_K_M）通常可将3B模型内存占用从约6GB压缩至约2GB，精度损失低于2-3%
80%已验证4-bit量化将每个参数压缩至0.5字节，理论上将140GB压缩至约35-40GB
80%已验证INT8量化约损失0.5%精度、显存减半，INT4量化显存压缩至原来的1/4、精度损失约1-3%
80%已验证模型量化是将神经网络权重从高精度浮点数压缩为低精度整数的技术
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证模型量化从FP32降至INT8能将推理速度提升3-4倍，但可能导致小目标检测精度下降
80%已验证微调一个7B参数的模型可能需要数十GB显存进行全参数微调
80%已验证32B参数规模的模型在量化后通常可以压缩到约16-20GB显存占用，一张NVIDIA RTX 4090（24GB显存）就能运行
80%已验证一个原本需要60GB显存的30B参数模型，经过量化后能在16GB甚至8GB显存的消费级显卡上运行
80%