PTQ
一种在模型训练完成后直接对权重进行数值压缩的量化技术,操作简单但相比QAT在低精度下精度损失更大。
核心事实
时间轴 (近 90 天)
BitLens 目前聚焦 PTQ 场景,依赖校准数据的代表性;Omega 与峰度指标能高效标出脆弱层,但不能替代端到端精度验证。
实践中QAT通常优于PTQ,在4-bit等低比特宽度下尤为明显。
训练后量化(PTQ)在 8 bit 甚至 4 bit 时通常还能保持质量,但推到 2 bit 附近误差会明显放大。
事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
Qwen3 27B 以 BF16 训练,对其强行做 1-bit PTQ 会导致大量数值信息被丢弃,模型内部表示能力严重受损
Q4 是现阶段大模型本地部署在质量与显存折中方面的黄金标准,1-bit PTQ 在生产环境中目前不可用
全部知识事实 (8)
事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
80%已验证PTQ(训练后量化)不需要重新训练模型,只需少量校准数据即可完成量化,通常几百到几千条校准数据就够用
75%待验证量化感知训练(QAT)在训练过程中模拟量化误差反向传播,效果通常优于训练后量化(PTQ)
60%待验证BitLens 目前聚焦 PTQ 场景,依赖校准数据的代表性;Omega 与峰度指标能高效标出脆弱层,但不能替代端到端精度验证。
50%待验证实践中QAT通常优于PTQ,在4-bit等低比特宽度下尤为明显。
50%待验证训练后量化(PTQ)在 8 bit 甚至 4 bit 时通常还能保持质量,但推到 2 bit 附近误差会明显放大。
50%待验证Qwen3 27B 以 BF16 训练,对其强行做 1-bit PTQ 会导致大量数值信息被丢弃,模型内部表示能力严重受损
50%待验证Q4 是现阶段大模型本地部署在质量与显存折中方面的黄金标准,1-bit PTQ 在生产环境中目前不可用
50%