dLLM-KVQ
面向扩散语言模型的KV cache非对称量化方法，按层选择对注意力敏感的K缓存条目保留高精度，对V缓存应用标准低比特量化
时间轴 (近 90 天)
dLLM-KVQ 利用 TRACE 生成的轨迹，根据输出层面和注意力层面的行为指标，选择每层中需要保持高精度的 K 缓存条目，而对 Value 缓存应用标准的低比特量化。
作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景，并提出了 TRACE 和 dLLM-KVQ 两种新方法。
在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
针对 dLLM 缓存复用误差设计的量化方案（如 dLLM-KVQ）比直接迁移自回归量化方法更有效。
TRACE 的轨迹校准思路和 dLLM-KVQ 的按层混合精度策略，为在有限显存下运行扩散语言模型提供了可参考的方向。
全部知识事实 (5)
dLLM-KVQ 利用 TRACE 生成的轨迹，根据输出层面和注意力层面的行为指标，选择每层中需要保持高精度的 K 缓存条目，而对 Value 缓存应用标准的低比特量化。
50%待验证作者将 KIVI 和 KVQuant 适配到 Fast-dLLM 风格的 prefix 缓存和 dual 缓存复用场景，并提出了 TRACE 和 dLLM-KVQ 两种新方法。
50%待验证在 LLaDA 和 Dream 模型上，于 GSM8K、HumanEval、MATH 和 MBPP 四个基准进行评估，dLLM-KVQ 在报告的 4-bit 和 2-bit 的 prefix/dual 缓存设置中取得了所有量化方法里的最高平均分。
50%待验证针对 dLLM 缓存复用误差设计的量化方案（如 dLLM-KVQ）比直接迁移自回归量化方法更有效。
50%待验证TRACE 的轨迹校准思路和 dLLM-KVQ 的按层混合精度策略，为在有限显存下运行扩散语言模型提供了可参考的方向。
50%