待验证50% 置信事实精确时间
在计算交叉熵损失时，softmax对正确标签位置i的梯度为p_i-1，对其他位置j的梯度为p_j，使lm_head输出层梯度密集
1
来源数
50%
置信度
长期有效
时效性
2026/8/24
首次发现
来源
涉及实体
相关事实
待验证交叉熵损失在分类任务中往往比MSE收敛更快，因为它与softmax输出配合，梯度不会在饱和区消失71% 相似待验证当模型遇到分布外输入时预测熵升高，softmax输出趋于均匀分布，nucleus sampling允许的候选token范围扩大，使长尾异常token获得被采样的机会62% 相似已验证HNSW通过构建多层图索引将搜索复杂度降至近似O(log n)，IVF通过K-means聚类分割向量空间以牺牲约5-10%召回率换取数量级速度提升61% 相似已验证分类任务常用交叉熵损失（Cross-Entropy Loss），回归任务常用均方误差（MSE）61% 相似待验证Forge性能比预期慢，主要瓶颈集中在交叉熵损失函数及其梯度计算和softmax上，且尚未实现KV-cache61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/793873API
curl https://kongchang.com/api/v1/knowledge/claims/793873MCP
get_claim(id=793873)