[控场AI]
待验证50% 置信事实精确时间

在语言模型训练中，最小化交叉熵与最大化似然是同一件事的两种说法，PyTorch中的CrossEntropyLoss直接计算的是负对数似然。

1
来源数
50%
置信度
长期有效
时效性
2026/10/31
首次发现

来源

LLM大模型零基础入门：从原理到实战的完整学习路径
bilibili数据拾光屋2026/10/20

涉及实体

交叉熵损失conceptPyTorchproductCrossEntropyLossproduct

相关事实

待验证模型采用二元交叉熵损失，对照oracle抽取标签进行端到端训练75% 相似待验证困惑度概念源自信息论中的熵（Shannon Entropy），本质上是语言模型每步预测的平均分支因子74% 相似已验证预训练的目标函数通常是因果语言建模中的交叉熵损失，即给定前文所有token最大化正确预测下一个token的概率71% 相似已验证语义熵方法在技术实现上通过多次采样获得候选回答、使用NLI模型判断语义等价性聚类、最后计算语义类别上的熵值71% 相似已验证现代大语言模型基于Transformer架构，通过预测下一个token的概率分布来生成文本，训练目标是最小化交叉熵损失70% 相似

引用此条事实

Stable URI
https://kongchang.com/claim/1121466
API
curl https://kongchang.com/api/v1/knowledge/claims/1121466
MCP
get_claim(id=1121466)