量化技术
将神经网络权重从高精度浮点压缩为低比特整数表示的技术，可降低显存占用和计算量，便于本地部署
核心事实
时间轴 (近 90 天)
本地部署时，上下文长度受显存限制，通常需要量化技术（如4-bit量化）来降低显存占用，但可能牺牲部分精度。
量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
量化技术使普通消费级显卡（如 RTX 3090、4090）能够运行数十亿参数规模的模型
量化技术虽能降低硬件要求，但会带来一定的性能损耗
随着量化技术进步和消费级硬件性能提升，7B、13B级别的模型已能在普通笔记本或工作站上流畅运行
量化技术可以在几乎不损失精度的情况下减少75-90%的内存占用和计算量
对于7B至13B参数级别的模型，4-bit量化后的输出质量与全精度版本差异很小
全部知识事实 (10)
4-bit量化技术（如GPTQ、AWQ、GGUF格式）可以将模型显存需求降低到原来的1/4，但会带来一定精度损失
90%已验证量化技术通过将模型权重从FP32/FP16压缩为INT8/INT4等低精度格式，可将模型体积缩减50%-75%
90%已验证Ollama支持4-bit、8-bit等量化压缩技术，通过降低模型权重的数值精度来减少显存占用和计算量
75%待验证本地部署时，上下文长度受显存限制，通常需要量化技术（如4-bit量化）来降低显存占用，但可能牺牲部分精度。
50%待验证量化技术可将训练好的神经网络权重从FP16/FP32压缩为INT8/INT4，显著缩小模型体积、降低内存占用、提升推理速度，代价是精度可能损失。
50%待验证量化技术使普通消费级显卡（如 RTX 3090、4090）能够运行数十亿参数规模的模型
50%待验证量化技术虽能降低硬件要求，但会带来一定的性能损耗
50%待验证随着量化技术进步和消费级硬件性能提升，7B、13B级别的模型已能在普通笔记本或工作站上流畅运行
50%待验证量化技术可以在几乎不损失精度的情况下减少75-90%的内存占用和计算量
50%待验证对于7B至13B参数级别的模型，4-bit量化后的输出质量与全精度版本差异很小
50%