待验证50% 置信事实精确时间

信息论中的熵与KL散度是理解损失函数设计和生成模型（如VAE、扩散模型）的重要基础

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

如何真正建立机器学习的心智模型

涉及实体

信息论concept KL散度concept VAEconcept 扩散模型concept

相关事实

待验证交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离77% 相似待验证KL散度在变分推断（VAE的ELBO目标）、知识蒸馏和模型压缩中扮演核心角色73% 相似待验证困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子71% 相似已验证语义熵方法在技术实现上通过多次采样获得候选回答、使用NLI模型判断语义等价性聚类、最后计算语义类别上的熵值71% 相似待验证交叉熵损失函数鼓励模型将正确类别的logit推向无穷大，导致深度网络预测过于确定70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/904270

API

curl https://kongchang.com/api/v1/knowledge/claims/904270

MCP

get_claim(id=904270)