最优解码器竟是"倾斜温度"：LLM采样温度的新理论

大语言模型的采样温度到底该设多少？经验告诉我们，样本预算越大，温度应该越高。但这个直觉背后的数学原理一直模糊不清。一篇新论文给出了一个出人意料的答案：最优解码规则是一种"倾斜温度"采样。

从一个被忽视的矛盾说起

温度采样是LLM推理中最常用的随机性控制手段。温度低，输出保守但容易重复；温度高，多样性上来但可能胡言乱语。实际部署中，工程师往往靠试错来选温度，或者用一些启发式规则（比如pass@k增大时调高温度）。

这种"凭感觉调参"的背后，缺少一个统一的优化框架。论文作者将解码问题重新形式化为 pass@k最大化，并施加两个约束：

• 熵下界：防止多样性崩塌（模型反复输出同一个答案）
• 交叉熵上界：防止输出离谱（采样到明显错误的路径）

这两个约束恰好对应了实际解码中最常见的两种失败模式。问题变成：在这个约束优化下，最优采样策略长什么样？

pass@k 是代码生成等任务中衡量采样质量的常用指标：对同一个问题独立采样 k 个候选答案，只要其中任意一个通过验证就算成功，pass@k 即该事件发生的概率期望。它天然刻画了「多采样几次能否蒙对」的能力，因此比单次准确率更贴近实际部署中「生成多个候选再筛选」的流程。也正因为它对候选间的多样性敏感，pass@k 会随着 k 增大而受高概率路径主导，这解释了为什么追求更大的 k 往往需要更高温度——多样性不足时，多次采样会退化为反复命中同一条平庸路径。理解这一指标是读懂本文优化目标的前提。

论文所用的两个约束来自信息论。熵衡量概率分布的分散程度，熵下界即要求采样分布不能过度集中，否则模型会反复输出同一答案，相当于多样性崩塌。交叉熵衡量采样分布与真实「正确」分布之间的差异，上界即限制采样偏离正确答案的程度，避免采到明显错误的路径。二者构成一组张力：一味提高熵会牺牲正确性，一味压低交叉熵又会丧失多样性。把这两个量作为显式约束写进优化问题，等于用一个有原则的框架同时刻画「别太单调」和「别太离谱」两种失败模式，这正是本文区别于经验调参的关键。

核心结论：倾斜温度采样

论文证明，上述约束优化存在一个闭式解：

$$q^\star \propto (p \cdot e^{\eta V})^{1/T}$$

其中 $p$ 是模型的原始概率分布，$V$ 是一个"验证器势能"——衡量当前部分生成最终能通过验证的可能性，$\eta$ 是约束乘子，$T$ 是温度。

这个公式的直觉是：温度采样不再均匀地"压平"整个分布，而是根据每条路径最终成功的可能性进行倾斜（tilt）。容易成功的路径被相对放大，注定失败的路径被相对压制。

这个框架的优雅之处在于统一性：普通温度采样、验证器贪婪解码、奖励倾斜策略，都是它的特例。当 $\eta = 0$ 时退化为标准温度采样；当 $T \to 0$ 且只保留最高 $V$ 值时变为验证器贪婪。

温度随k增长的定理

论文还有一个直接回应工程直觉的结果：在多样性预算随样本数 $k$ 自然扩展的规则下，最优温度随 $k$ 单调递增。

这意味着"样本越多、温度越高"不再是一个经验法则，而是一个可证明的定理。但代价是：最优温度依赖于未知的验证器势能 $V$，实际中无法直接计算。

两种绕过验证器的方法

论文提出两条实用路径来估计 $V$：

在线设置——J-EOS算法：不需要任何正确性标注，仅从二元的pass/fail反馈中联合追踪约束乘子并学习验证器势能。适合有交互式验证信号的场景（如代码执行结果、单元测试通过与否）。

离线设置——校准温度解码（CTD）：论文发现，当模型校准良好时，其对数概率与正确性之间近似呈仿射关系。这一条件下，倾斜项坍缩进指数，最优策略退化为普通温度采样。CTD只需离线拟合一个标量，推理时零额外开销。

CTD的实用价值在于：如果模型已经校准，你不需要任何额外计算就能获得接近最优的解码效果——只需把那个标量温度设对。

校准（calibration） 在本文中指的是模型的输出概率与其实际正确率相匹配的程度。一个校准良好的模型，若对某类问题给出的概率是 0.8，那么这类问题大约有 80% 确实答对。论文发现，当模型校准良好时，其对数概率与正确性之间近似呈仿射（线性加常数）关系，因此原本需要单独估计的验证器势能可以并入温度项，使倾斜采样退化为普通温度采样。CTD（校准温度解码） 正是利用这一点：只需离线拟合一个标量温度，推理时不再需要任何验证器查询或额外计算。这也说明模型校准本身就是一项可被解码策略直接兑现的隐藏红利。

代码生成上的验证

作者在HumanEval和MBPP两个代码生成基准上评测了所提方法。结果显示，基于这些决策规则的实用解码算法和CTD均优于标准温度采样和自适应解码基线。代码生成是验证器信号天然存在的场景（代码能跑就是pass），因此J-EOS的在线学习有直接应用价值。

对实践的启示

这项工作给LLM推理优化提供了几个可操作的思路：

1. 温度不是越调越玄学，在pass@k目标下它有明确的优化形式，且随k增长是可证明的
2. 验证器信号值得利用：如果任务有自动验证手段（代码执行、数学验证、格式检查），J-EOS提供了一种无需标注的学习框架
3. 模型校准是隐藏红利：校准好的模型可以直接用CTD，零推理开销
4. 不要忽视约束建模：熵下界和交叉熵上界这两个约束的显式建模，比单一温度参数更精确地刻画了解码的权衡

当然，验证器势能的估计质量决定了方法的上限。在线J-EOS依赖充分的pass/fail反馈，离线CTD依赖模型的校准程度——这两者在实际部署中未必总能满足。论文也留下了开放问题：当模型校准较差且验证信号稀疏时，如何在两者之间取得平衡。