测试时扩展如何分配LLM推理的深度、宽度与反馈

当我们谈论大语言模型的推理能力时，一个核心问题常常被忽视：同样的推理预算，为什么有的模型能沿一条路径深入到底，有的却能同时探索多条备选方案，还有的能在失败后自我纠正？ 这背后涉及测试时扩展（Test-Time Scaling）的三个关键维度——深度、宽度与反馈。

什么是测试时扩展

测试时扩展指的是在模型推理阶段，通过增加计算资源来提升输出质量的一系列方法。与传统训练时扩展（增加参数量或数据量）不同，测试时扩展不改变模型权重，而是在生成过程中动态分配计算预算。

这一概念的实用价值在于：它让同一个基础模型，在面对简单问题时快速作答，在面对复杂问题时调用更多计算资源进行深入推理。这种灵活性使得推理成本与任务难度可以动态匹配。

训练时扩展与测试时扩展的对比：训练时扩展（Training-Time Scaling）指通过增大模型参数量、扩展训练数据规模或延长训练时长来提升模型能力上限，其成本集中在一次性的大规模训练阶段，且模型一旦训练完成，能力就固化在权重中。测试时扩展则在模型权重完全冻结的前提下，通过增加推理阶段的计算量来换取更好的输出。两者的根本区别在于：前者提升的是模型的"潜力上限"，后者挖掘的是模型"已有的潜力"。一个直观的类比是，训练时扩展相当于让学生接受更长时间的教育，而测试时扩展相当于在考试时给考生更多思考和打草稿的时间。

推理预算的含义：推理预算（Inference Budget）是指模型在生成一次回答时可以消耗的计算资源总量，通常以生成的 token 数量、浮点运算次数（FLOPs）或推理延迟来衡量。在测试时扩展的框架下，预算是一个有限的、需要分配的稀缺资源——它不会无限增长，因此深度、宽度与反馈之间的权衡本质上是一个资源分配优化问题。

推理资源的三个分配维度

深度：沿着单一推理链向下挖掘

深度扩展是最直观的测试时扩展形式。模型在生成答案时，允许更长的推理链，逐步分解问题、验证中间步骤、修正推导过程。

这种方式的优势在于逻辑连贯性。当问题需要多步推导时——比如数学证明或复杂代码调试——深度扩展能让模型像人类一样"想得更久"。但它的局限同样明显：如果初始推理方向就是错误的，再深的挖掘也只是在错误路径上越走越远。

宽度：同时探索多条备选路径

宽度扩展走的是另一条路线。模型在每一步生成多个候选，然后通过某种选择机制筛选最优分支。这类似于人类面对难题时的"头脑风暴"——先发散，再收敛。

宽度扩展的核心挑战在于选择机制的设计。如何判断哪条路径更可能通向正确答案？常见的做法包括自我一致性投票、过程奖励模型打分等。宽度越大，找到正确路径的概率越高，但计算成本也呈线性增长。

自我一致性投票：自我一致性（Self-Consistency）是一种典型的宽度扩展实现方式。其做法是让模型对同一问题生成多条推理路径和对应的答案，然后通过多数投票选出最终答案。这一方法的理论基础是：虽然单条路径容易出错，但如果多条独立路径得出相同结论，该结论更可能是正确的。自我一致性不需要额外训练验证器，实现简单，但它要求各条路径之间保持足够的多样性，否则投票结果会退化为单一答案的重复确认。

过程奖励模型：过程奖励模型（Process Reward Model, PRM）与传统的仅评估最终答案的结果奖励模型（Outcome Reward Model, ORM）不同，它对推理链中的每一个中间步骤给出质量评分。这意味着模型可以在推理过程中及早发现并淘汰错误分支，而不必等到整条路径走完。过程奖励模型的优势在于信号更密集、更细粒度，但训练成本也更高，因为需要为每一步推理标注正确性。

反馈：从失败中学习并调整

反馈维度的独特之处在于引入了迭代。模型生成初步答案后，通过外部验证器或自我评估获取反馈信号，然后据此修正推理过程。

这种方式最接近人类的"试错学习"。它不要求第一次就做对，而是要求模型具备识别错误并调整策略的能力。反馈机制的效果高度依赖于验证信号的质量——如果验证器本身不可靠，反馈反而可能引入新的错误。

外部验证器与自我评估：反馈信号的来源可以分为两大类。外部验证器指的是独立于生成模型之外的工具或模型，例如编译器、单元测试、数学求解器或另一个专门的评判模型。这类信号通常质量较高但覆盖范围有限，仅适用于有明确正确性标准的领域。自我评估则是让模型自身判断输出是否正确，并给出修改建议。这种方式适用范围广，但存在一个根本性风险：如果模型有能力准确判断自己的输出是否正确，它一开始就不太可能犯这个错误。这种"自我评估悖论"使得自我评估的效果往往不如外部验证可靠。

同一预算下的不同策略选择

理解这三个维度的关键洞察在于：它们共享同一个推理预算池。增加深度意味着减少宽度探索的机会，投入反馈迭代则可能牺牲单次推理的深度。

这就解释了为什么同一个推理预算可以产生截然不同的行为模式。选择深度优先的策略，模型会沿一条路径深入；选择宽度优先，模型会广泛探索备选方案；选择反馈优先，模型会在多次尝试中逐步逼近正确答案。

没有哪个维度绝对优于其他维度。最优策略取决于任务类型：

• 数学证明类任务：深度扩展通常更有效，因为逻辑链条需要保持连贯
• 开放域问答：宽度扩展更有优势，因为答案空间广阔，多样性能提高覆盖率
• 代码生成与调试：反馈机制价值最大，因为编译器和测试用例提供了可靠的外部验证信号

多维协同的实践意义

当前沿研究逐渐从单一维度转向多维协同，一个更精细的问题浮现出来：在有限预算下，如何动态分配深度、宽度与反馈的资源比例？

一些研究工作开始尝试让模型自身判断任务类型，并据此调整扩展策略。这种自适应分配的策略，可能是通往更高效推理系统的关键路径。毕竟，真正智能的系统不该在所有问题上平均用力，而应该像人类专家一样，知道什么时候该深想、什么时候该广撒网、什么时候该虚心接受反馈。

测试时扩展的本质，是在推理阶段为模型赋予"思考如何思考"的元认知能力。深度、宽度与反馈这三个维度，构成了这种元认知的坐标系。理解它们的权衡关系，是设计高效推理系统的前提。