[控场AI]
概念greedy decoding / greedy search

贪婪解码

一种语言模型推理策略,在每个生成步骤中选择概率最高的token,对应temperature=0的采样方式,理论上产生确定性输出

核心事实

时间轴 (近 90 天)

11月2日

贪婪解码会导致输出缺乏多样性、容易陷入重复循环,且在开放式生成任务中表现常不如温度采样或beam search。

待验证50%
10月20日

传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。

待验证50%
10月16日

贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。

待验证50%
8月25日

贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应

已验证65%

全部知识事实 (6)

来源文章