已验证65% 置信事实精确时间
KL 散度用于比较微调后模型与原始模型在相同输入下的输出概率分布差异，数值越大表示偏离越严重，0.0244 的 KLD 意味着微调几乎没有改变模型的整体行为分布
3
来源数
65%
置信度
长期有效
时效性
2026/9/7
首次发现
来源
涉及实体
相关事实
待验证KLD 是分布层面的平均量，与下游任务准确率并非严格单调对应；一个 KLD 略高的模型可能恰好在某类任务上分数更好。80% 相似待验证KLD（KL散度）衡量两个概率分布之间的差异，公式为 D_KL(P||Q)=∑_x P(x)log(P(x)/Q(x))。78% 相似待验证当KL球以经验分布为中心时，球内分布只能重加权历史记录；当以学习密度模型为中心时，模型可能赋予未观测实现正密度，从而允许对手调高这些实现的权重。75% 相似待验证KL散度是衡量两个概率分布差异的非对称指标，在强化学习中被用来约束新旧策略的偏离程度（如PPO的trust region）。74% 相似待验证贝叶斯推断、最大似然估计、KL 散度等概率统计概念在现代生成模型（如 VAE、Diffusion Model）中广泛应用73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/869598API
curl https://kongchang.com/api/v1/knowledge/claims/869598MCP
get_claim(id=869598)