概念Mixed-Precision Quantization
混合精度量化
在同一模型内为不同部分分配不同比特宽度的量化方法，关键挑战在于度量各部分重要性以分配比特预算。
时间轴 (近 90 天)
10月30日
dLLM-KVQ 利用 TRACE 生成的轨迹，根据输出层面和注意力层面的行为指标，选择每层中需要保持高精度的 K 缓存条目，而对 Value 缓存应用标准的低比特量化。
待验证50%
10月30日
GGA通过评估每个注意力头的候选量化残差对未来预测损失的梯度影响，在模型级混合精度预算下为不同头分配比特宽度。
待验证50%
10月15日
传统混合精度量化依赖专家重要性排序，隐含假设分配权重与排序位置线性相关，但排序只能提供相对次序，无法校准误差权重的绝对强度。
待验证50%
10月15日
论文的核心启示是量化分配不应止步于敏感性排序，而应转向目标感知分配，即根据最终优化目标反向校准每个专家的误差权重。
待验证50%
9月11日
混合精度量化对参数量大但精度不敏感的主干网络使用INT4等激进低精度，对精度敏感的文本编码器、QKV投影保留INT8或FP16
待验证50%
全部知识事实 (5)
待验证
dLLM-KVQ 利用 TRACE 生成的轨迹，根据输出层面和注意力层面的行为指标，选择每层中需要保持高精度的 K 缓存条目，而对 Value 缓存应用标准的低比特量化。
50%待验证GGA通过评估每个注意力头的候选量化残差对未来预测损失的梯度影响，在模型级混合精度预算下为不同头分配比特宽度。
50%待验证传统混合精度量化依赖专家重要性排序，隐含假设分配权重与排序位置线性相关，但排序只能提供相对次序，无法校准误差权重的绝对强度。
50%待验证论文的核心启示是量化分配不应止步于敏感性排序，而应转向目标感知分配，即根据最终优化目标反向校准每个专家的误差权重。
50%待验证混合精度量化对参数量大但精度不敏感的主干网络使用INT4等激进低精度，对精度敏感的文本编码器、QKV投影保留INT8或FP16
50%