QAT
一种在模型训练阶段模拟量化误差的技术，使模型主动学会容忍精度损失，相比训练后量化（PTQ）在低精度下保持更好的输出质量。
核心事实
时间轴 (近 90 天)
Gemma 4 E2B 是量化感知训练（QAT）构建的模型（e2b-it-qat），体积约 4GB，可以在无 GPU 的普通笔记本上运行。
QAT通过显式引入量化噪声进行正则化，迫使模型收敛到更平坦的区域，与Sharpness-Aware Minimization（SAM）思路异曲同工。
实践中QAT通常优于PTQ，在4-bit等低比特宽度下尤为明显。
QAT同时优化低损失和围绕低损失点的平缓曲率，使量化误差保持在可控范围内。
Nemotron 3.5 Bolt 使用原生 2-bit 量化（IQ2，带量化感知训练 QAT）将模型压缩进 24GB 显存，可在一块消费级或单卡工作站上运行。
将 74B 参数压缩到 24GB 需要 2-bit 量化配合量化感知训练（QAT），即参数以 2 bit 而非 16 bit 存储，且模型在训练阶段就适应这种压缩。
事后量化在小 bit 数下通常会造成明显的性能退化，而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
Nemotron Bolt 3.5 74B A9B 通过 2-bit 量化配合量化感知训练（QAT），将整个模型压缩到约 24GB 显存占用。
把 74B 参数压缩到 2-bit 而不严重掉质量，关键在于量化感知训练（QAT）而非事后量化。
来自Google QAT检查点的int4构建在Gemma 4 E2B上精度仅比bf16低不到0.5个点（0.678 vs 0.683），而从bf16直接round出的int8构建掉了1.3个点。
还有 4 条时间轴事件
全部知识事实 (16)
事后量化在小 bit 数下通常会造成明显的性能退化，而 QAT 在训练过程中模拟量化误差以保持低精度输出质量。
80%已验证量化感知训练(QAT)让模型保留全精度权重副本，每次前向传播练习舍入操作，学会在极端压缩下的权重分布
70%待验证量化感知训练（QAT）在训练过程中模拟量化误差反向传播，效果通常优于训练后量化（PTQ）
60%待验证Gemma 4 E2B 是量化感知训练（QAT）构建的模型（e2b-it-qat），体积约 4GB，可以在无 GPU 的普通笔记本上运行。
50%待验证QAT通过显式引入量化噪声进行正则化，迫使模型收敛到更平坦的区域，与Sharpness-Aware Minimization（SAM）思路异曲同工。
50%待验证实践中QAT通常优于PTQ，在4-bit等低比特宽度下尤为明显。
50%待验证QAT同时优化低损失和围绕低损失点的平缓曲率，使量化误差保持在可控范围内。
50%待验证Nemotron 3.5 Bolt 使用原生 2-bit 量化（IQ2，带量化感知训练 QAT）将模型压缩进 24GB 显存，可在一块消费级或单卡工作站上运行。
50%待验证将 74B 参数压缩到 24GB 需要 2-bit 量化配合量化感知训练（QAT），即参数以 2 bit 而非 16 bit 存储，且模型在训练阶段就适应这种压缩。
50%待验证把 74B 参数压缩到 2-bit 而不严重掉质量，关键在于量化感知训练（QAT）而非事后量化。
50%待验证Nemotron Bolt 3.5 74B A9B 通过 2-bit 量化配合量化感知训练（QAT），将整个模型压缩到约 24GB 显存占用。
50%待验证来自Google QAT检查点的int4构建在Gemma 4 E2B上精度仅比bf16低不到0.5个点（0.678 vs 0.683），而从bf16直接round出的int8构建掉了1.3个点。
50%待验证量化感知训练（QAT）是将压缩机制从训练一开始就融入训练过程的方法，而非训练结束后再压缩
50%待验证谷歌官方表示QAT方法在质量上显著优于传统的事后压缩方式
50%待验证Gemma 3的QAT进步被定位为AI运行效率稳步提升过程中的一个重要里程碑，而非范式革命
50%待验证真正可用的 1-bit 级别大模型将是一类全新训练（引入量化感知训练QAT）的模型，而非对现有模型的事后压缩
50%