概念greedy decoding / greedy search
贪婪解码
一种语言模型推理策略,在每个生成步骤中选择概率最高的token,对应temperature=0的采样方式,理论上产生确定性输出
核心事实
时间轴 (近 90 天)
10月20日
传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。
待验证50%
10月16日
贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。
待验证50%
8月25日
贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应
待验证60%
全部知识事实 (5)
已验证
大语言模型的非确定性根源于其自回归采样过程,即便temperature设为0,不同推理框架、批处理大小和硬件浮点运算差异都可能导致输出漂移
75%已验证temperature参数对Logits向量进行缩放,temperature为0时退化为贪婪解码
65%待验证贪婪解码(greedy decoding)总是选择概率最高的token,而随机采样按概率分布抽取,这导致同一Prompt可能得到不同响应
60%待验证传统越狱评估若仅使用贪婪解码,会得到确定性的单一输出,无法反映模型在随机采样下的真实行为分布。
50%待验证贪婪解码在低比特量化模型上极易陷入退化循环,因为权重量化损失了大量数值精度,模型对某些 token 序列的评分会出现病态的高峰值,导致同一段文字被反复输出。
50%