[控场AI]
概念贪婪解码

greedy decoding

一种解码策略,每步选择概率最高的token,理论上确定但受底层浮点计算影响

时间轴 (近 90 天)

10月18日

greedy decoding 本身是确定的,但它所依赖的 logits 计算不是确定的,因为批次形状变化会改变浮点运算的求和顺序。

待验证50%
10月12日

切换到贪婪解码后最终模型常常陷入循环,而验证损失完全没有暴露这种失败模式

待验证50%
10月12日

贪婪解码每步选择概率最高的token,最能暴露模型的重复倾向;采样结合temperature参数通过对logits除以temperature重新归一化来权衡多样性与连贯性

待验证50%

全部知识事实 (3)

来源文章