概念greedy decoding / greedy search
贪婪解码
一种语言模型推理策略,在每个生成步骤中选择概率最高的token,对应temperature=0的采样方式,理论上产生确定性输出
核心事实
时间轴 (近 90 天)
11月2日
贪婪解码会导致输出缺乏多样性、容易陷入重复循环,且在开放式生成任务中表现常不如温度采样或beam search。
待验证50%
10月20日
传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。
待验证50%
10月16日
贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。
待验证50%
8月25日
贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应
已验证65%
全部知识事实 (6)
已验证
大语言模型的非确定性根源于其自回归采样过程,即便temperature设为0,不同推理框架、批处理大小和硬件浮点运算差异都可能导致输出漂移
75%已验证贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应
65%已验证temperature参数对Logits向量进行缩放,temperature为0时退化为贪婪解码
65%待验证贪婪解码会导致输出缺乏多样性、容易陷入重复循环,且在开放式生成任务中表现常不如温度采样或beam search。
50%待验证传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。
50%待验证贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。
50%