[控场AI]
概念训练后量化 / Post-Training Quantization

PTQ

一种在模型训练完成后直接对权重进行数值压缩的量化技术,操作简单但相比QAT在低精度下精度损失更大。

核心事实

时间轴 (近 90 天)

10月19日

BitLens 目前聚焦 PTQ 场景,依赖校准数据的代表性;Omega 与峰度指标能高效标出脆弱层,但不能替代端到端精度验证。

待验证50%
10月17日

实践中QAT通常优于PTQ,在4-bit等低比特宽度下尤为明显。

待验证50%
10月15日

训练后量化(PTQ)在 8 bit 甚至 4 bit 时通常还能保持质量,但推到 2 bit 附近误差会明显放大。

待验证50%
10月14日

事后量化在小 bit 数下通常会造成明显的性能退化,而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。

已验证80%
9月12日

Qwen3 27B 以 BF16 训练,对其强行做 1-bit PTQ 会导致大量数值信息被丢弃,模型内部表示能力严重受损

待验证50%
9月12日

Q4 是现阶段大模型本地部署在质量与显存折中方面的黄金标准,1-bit PTQ 在生产环境中目前不可用

待验证50%

全部知识事实 (8)

来源文章