KLD
KL散度是一种衡量两个概率分布差异的指标，在模型量化评测中被用作诊断工具，数值越小表示量化模型输出分布越接近原始模型。
时间轴 (近 90 天)
一般认为平均KLD在0.1以下时质量损失较小，超过0.5则可能明显退化。
KLD对分布形状的变化比困惑度更敏感，因此成为量化社区（如llama.cpp的量化讨论）中判断量化是否伤质量的常用基准。
KLD依赖参考模型和校准数据集的选择，不同实验之间的数值不能直接横向比较。
UDv3.1 在 KLD 和 top-1% 指标上，于编码、agentic coding、对话等多个领域都明显好于 GSQ-RCO。
KLD（KL散度）衡量两个概率分布之间的差异，公式为 D_KL(P||Q)=∑_x P(x)log(P(x)/Q(x))。
困惑度（Perplexity）是衡量语言模型压缩损失最常用的指标，反映模型对测试语料的预测不确定性，数值越低代表模型越懂语言
传统全量微调进行去审查的模型 KLD 通常在 0.1 到 0.5 甚至更高的范围，基于 LoRA 的方法一般在 0.05-0.15 之间
kvarn量化在needle测试中表现略逊于qx_x,但KLD指标更优,且能节省显存而qx_x会增加显存占用
全部知识事实 (8)
一般认为平均KLD在0.1以下时质量损失较小，超过0.5则可能明显退化。
50%待验证KLD对分布形状的变化比困惑度更敏感，因此成为量化社区（如llama.cpp的量化讨论）中判断量化是否伤质量的常用基准。
50%待验证KLD依赖参考模型和校准数据集的选择，不同实验之间的数值不能直接横向比较。
50%待验证UDv3.1 在 KLD 和 top-1% 指标上，于编码、agentic coding、对话等多个领域都明显好于 GSQ-RCO。
50%待验证KLD（KL散度）衡量两个概率分布之间的差异，公式为 D_KL(P||Q)=∑_x P(x)log(P(x)/Q(x))。
50%待验证困惑度（Perplexity）是衡量语言模型压缩损失最常用的指标，反映模型对测试语料的预测不确定性，数值越低代表模型越懂语言
50%待验证传统全量微调进行去审查的模型 KLD 通常在 0.1 到 0.5 甚至更高的范围，基于 LoRA 的方法一般在 0.05-0.15 之间
50%待验证kvarn量化在needle测试中表现略逊于qx_x,但KLD指标更优,且能节省显存而qx_x会增加显存占用
50%