交叉熵损失
一种用于衡量概率分布之间差异的损失函数，常用于分类和语言模型训练。在语言模型中，它计算预测下一个token的概率分布与真实分布之间的差异，对自信的错误预测施加更大惩罚。
时间轴 (近 90 天)
在语言模型训练中，最小化交叉熵与最大化似然是同一件事的两种说法，PyTorch中的CrossEntropyLoss直接计算的是负对数似然。
SFT是一种用成对输入输出和交叉熵损失更新模型参数的对齐方法，不依赖奖励模型或偏好比较。
常规训练（如交叉熵损失）只惩罚预测错误而不约束概率校准质量，导致模型存在过度自信或过度保守的问题
该方法的联合训练仅使用交叉熵损失，同时兼顾准确率与校准质量，代价仅为引入校准器学习率这一个额外超参数
现代大语言模型训练时优化的交叉熵损失，本质上是在最小化对文本的编码长度
交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，相比MSE具有更适合分类问题的梯度特性
交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离
该项目将井字棋建模为监督分类问题，输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，使用交叉熵损失训练
全部知识事实 (8)
交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，相比MSE具有更适合分类问题的梯度特性
60%待验证交叉熵损失是分类任务中最常用的损失函数，其根源在信息论，衡量模型预测概率分布与真实分布之间的距离
60%待验证在语言模型训练中，最小化交叉熵与最大化似然是同一件事的两种说法，PyTorch中的CrossEntropyLoss直接计算的是负对数似然。
50%待验证SFT是一种用成对输入输出和交叉熵损失更新模型参数的对齐方法，不依赖奖励模型或偏好比较。
50%待验证常规训练（如交叉熵损失）只惩罚预测错误而不约束概率校准质量，导致模型存在过度自信或过度保守的问题
50%待验证该方法的联合训练仅使用交叉熵损失，同时兼顾准确率与校准质量，代价仅为引入校准器学习率这一个额外超参数
50%待验证现代大语言模型训练时优化的交叉熵损失，本质上是在最小化对文本的编码长度
50%待验证该项目将井字棋建模为监督分类问题，输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，使用交叉熵损失训练
50%