待验证50% 置信事实精确时间
交叉熵损失与Softmax结合时，输出层梯度形式为∂L/∂z = ŷ - y，这避免了MSE在输出层饱和时梯度消失的问题。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失80% 相似待验证在计算交叉熵损失时，softmax对正确标签位置i的梯度为p_i-1，对其他位置j的梯度为p_j，使lm_head输出层梯度密集72% 相似待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大68% 相似待验证当ε≈1时，分母中的梯度二阶矩项被稀释，自适应缩放几乎不起作用，优化器行为接近纯粹的SGD66% 相似待验证论文通过对有限高斯混合类在局部Hellinger距离下的括住熵进行sharp刻画，以此控制NPMLE的收敛速率。66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1126398API
curl https://kongchang.com/api/v1/knowledge/claims/1126398MCP
get_claim(id=1126398)