交叉熵
信息论中衡量两个概率分布差异的量，在LLM解码中用作约束以限制采样偏离正确答案的程度
时间轴 (近 90 天)
与对纠正片段直接做交叉熵（硬标签）不同，KL 监督使用教师的完整 soft 分布作为软目标，保留了教师对各候选 token 的相对置信度，信号更平滑，也更不容易让学生过拟合到单一答案。
文章建议在自定义训练循环中替换标准softmax和交叉熵实现，以规避数值问题。
作者提出的log-softmax、softmax和交叉熵修复实现不增加计算复杂度。
LLM校准问题的结构性根源在于预训练目标是最小化下一个词的交叉熵而非输出可信的概率估计，RLHF对齐又进一步放大了“显得确定”的表达倾向。
交叉熵是一个token平均指标，不会额外惩罚某些token完全没被处理的结构性缺陷，因此比较路由策略时不能只看单一的平均评估损失。
sigmoid 激活配合交叉熵损失，对权重求导会简化为 ∂L/∂w = (ŷ - y) · x
逻辑回归的前向传播流程为：线性组合 z = w·x + b，通过 sigmoid 激活 ŷ = 1/(1+e^(-z))，再计算交叉熵损失
MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
该项目将博弈问题建模为监督分类任务，神经网络输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，通过交叉熵损失学习模仿Minimax决策
交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵
还有 2 条时间轴事件
全部知识事实 (12)
与对纠正片段直接做交叉熵（硬标签）不同，KL 监督使用教师的完整 soft 分布作为软目标，保留了教师对各候选 token 的相对置信度，信号更平滑，也更不容易让学生过拟合到单一答案。
50%待验证文章建议在自定义训练循环中替换标准softmax和交叉熵实现，以规避数值问题。
50%待验证作者提出的log-softmax、softmax和交叉熵修复实现不增加计算复杂度。
50%待验证LLM校准问题的结构性根源在于预训练目标是最小化下一个词的交叉熵而非输出可信的概率估计，RLHF对齐又进一步放大了“显得确定”的表达倾向。
50%待验证交叉熵是一个token平均指标，不会额外惩罚某些token完全没被处理的结构性缺陷，因此比较路由策略时不能只看单一的平均评估损失。
50%待验证sigmoid 激活配合交叉熵损失，对权重求导会简化为 ∂L/∂w = (ŷ - y) · x
50%待验证逻辑回归的前向传播流程为：线性组合 z = w·x + b，通过 sigmoid 激活 ŷ = 1/(1+e^(-z))，再计算交叉熵损失
50%待验证MSE在Sigmoid输出接近0或1时会遭遇梯度饱和问题，导致训练极其缓慢，而交叉熵在预测严重偏离时梯度更大
50%待验证该项目将博弈问题建模为监督分类任务，神经网络输入为编码后的棋盘状态，输出为9个格子中最佳落子位置的概率分布，通过交叉熵损失学习模仿Minimax决策
50%待验证交叉熵损失函数 H(p,q) = -Σp(x)log q(x) 的最小值在q=p时取到，等于真实分布的熵
50%待验证当模型对某个训练样本的预测概率接近1时，该样本对应的交叉熵损失趋近于零，模型几乎无法获得梯度更新信号
50%待验证监督学习本质上是函数逼近问题，通过最小化损失函数实现，常见损失函数包括回归任务的均方误差（MSE）和分类任务的交叉熵（Cross Entropy）
50%