KL 散度
衡量两个概率分布差异的非对称性度量，在信息论、变分推断等领域广泛应用。
核心事实
时间轴 (近 90 天)
KLD 是分布层面的平均量，与下游任务准确率并非严格单调对应；一个 KLD 略高的模型可能恰好在某类任务上分数更好。
KL散度衡量两个概率分布之间的有向差异，定义为 D_KL(P||Q)=E_P[log(dP/dQ)]，非负且不对称，当且仅当两分布几乎处处相等时为零。
在 PIVOT 中，token 级 KL 监督最小化学生模型在纠正片段位置上的下一 token 分布与教师分布的 KL 散度，即 KL(学生‖教师)。
dSpark 通过蒸馏让模型学会更快的并行采样，并引入 KL 散度正则项来约束生成质量。
Hellinger 模对分布密度的平方根之差进行积分，相较于 KL 散度，它是有界的且在非参数估计的极小极大下界推导中往往能给出更紧的常数界。
KL 散度衡量两个概率分布之间的差异，是检测模型崩溃的核心数学工具；将拟用训练批次与认证人类黄金基线做 KL 散度对比，散度超过阈值应自动终止管线。
SIRS 给出了误差界：数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
KL 散度和 PSI（群体稳定性指标）等统计量常用于度量批量数据的分布偏移，但难以直接套用于 Agent 序列化、带上下文的行为。
PSI 数学上类似于对称化的 KL 散度，对分布的相对变化较为敏感。
互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度，等价于知道 X 后 Y 的不确定性减少量。
还有 3 条时间轴事件
全部知识事实 (13)
KL 散度用于比较微调后模型与原始模型在相同输入下的输出概率分布差异，数值越大表示偏离越严重，0.0244 的 KLD 意味着微调几乎没有改变模型的整体行为分布
65%待验证KLD 是分布层面的平均量，与下游任务准确率并非严格单调对应；一个 KLD 略高的模型可能恰好在某类任务上分数更好。
50%待验证KL散度衡量两个概率分布之间的有向差异，定义为 D_KL(P||Q)=E_P[log(dP/dQ)]，非负且不对称，当且仅当两分布几乎处处相等时为零。
50%待验证在 PIVOT 中，token 级 KL 监督最小化学生模型在纠正片段位置上的下一 token 分布与教师分布的 KL 散度，即 KL(学生‖教师)。
50%待验证dSpark 通过蒸馏让模型学会更快的并行采样，并引入 KL 散度正则项来约束生成质量。
50%待验证Hellinger 模对分布密度的平方根之差进行积分，相较于 KL 散度，它是有界的且在非参数估计的极小极大下界推导中往往能给出更紧的常数界。
50%待验证KL 散度衡量两个概率分布之间的差异，是检测模型崩溃的核心数学工具；将拟用训练批次与认证人类黄金基线做 KL 散度对比，散度超过阈值应自动终止管线。
50%待验证SIRS 给出了误差界：数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
50%待验证KL 散度和 PSI（群体稳定性指标）等统计量常用于度量批量数据的分布偏移，但难以直接套用于 Agent 序列化、带上下文的行为。
50%待验证PSI 数学上类似于对称化的 KL 散度，对分布的相对变化较为敏感。
50%待验证互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度，等价于知道 X 后 Y 的不确定性减少量。
50%待验证Renyi 散度是 KL 散度的推广，可通过调节阶数参数控制对分布尾部或峰值的敏感程度
50%待验证Voodoo Quant 的训练目标由 KL 散度和文件大小目标两部分构成，用户可直接指定目标文件体积
50%