概念贪婪解码
greedy decoding
一种解码策略,每步选择概率最高的token,理论上确定但受底层浮点计算影响
时间轴 (近 90 天)
10月18日
greedy decoding 本身是确定的,但它所依赖的 logits 计算不是确定的,因为批次形状变化会改变浮点运算的求和顺序。
待验证50%
10月12日
切换到贪婪解码后最终模型常常陷入循环,而验证损失完全没有暴露这种失败模式
待验证50%
10月12日
贪婪解码每步选择概率最高的token,最能暴露模型的重复倾向;采样结合temperature参数通过对logits除以temperature重新归一化来权衡多样性与连贯性
待验证50%