待验证50% 置信事实精确时间
交叉熵损失函数鼓励模型将正确类别的logit推向无穷大，导致深度网络预测过于确定
1
来源数
50%
置信度
长期有效
时效性
2026/7/9
首次发现
来源
元认知反馈：用强化学习让大模型准确表达不确定性
hackernewshackernews2026/7/7
相关事实
待验证二分类交叉熵损失公式为 -[y·log(p) + (1-y)·log(1-p)]，其中y是真实标签，p是模型预测的正类概率69% 相似待验证目前双重下降的严格理论证明主要在线性模型和随机特征模型等简化设定下给出，深度非线性网络的完整数学刻画仍是开放问题67% 相似待验证大模型中的参数在数学上是神经网络每条连接边上的权重数值和偏置值，训练前随机初始化，通过反向传播算法和梯度下降不断调整65% 相似待验证模型记忆化程度与数据重复次数高度相关，参数量远超训练数据信息熵时模型倾向于记忆而非泛化64% 相似待验证自回归大模型推理瓶颈并非计算量而是内存带宽，推测解码通过拒绝采样保证输出分布与原始大模型完全一致63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/319107API
curl https://kongchang.com/api/v1/knowledge/claims/319107MCP
get_claim(id=319107)