[控场AI]
概念greedy decoding / greedy search

贪婪解码

一种语言模型推理策略,在每个生成步骤中选择概率最高的token,对应temperature=0的采样方式,理论上产生确定性输出

核心事实

时间轴 (近 90 天)

10月20日

传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。

待验证50%
10月16日

贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。

待验证50%
8月25日

贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应

待验证60%

全部知识事实 (5)

来源文章