语法透镜基准：GPT-5.5推理等级差异可被量化区分

推理模型的“思考时间”越长，是否意味着计算能力越强？一项源自计算理论的形式语法透镜基准测试，为这个问题提供了可量化的观察窗口。研究者利用该基准生成不同计算能力等级的新数据，测试了 GPT-5.5 及其 Pro-Medium、Pro-High、Pro-XHigh 等推理等级变体，发现模型对测试数据的接受率随推理等级提升而递增，且不同等级之间的差异清晰可辨。

基准设计：用形式语法衡量计算能力

这套方法的核心在于形式语法与计算理论的结合。研究者按照计算能力层级构造数据，每一层都比下一层具备更强的计算能力，模型若能在更高层级的数据上正确响应，说明其内部计算能力达到了相应水平。这种方法不依赖传统的题库式评测，而是动态生成新数据，避免了模型对固定题目的记忆与过拟合。

原文指出，该基准能够“以细粒度区分模型在测试时推理等级上的差异”。换言之，它不只是给出一个总分，而是能判断模型的计算能力处在哪个层级，对于评估推理模型的真实能力边界具有参考价值。

形式语法与乔姆斯基层级

形式语法是计算理论中描述语言（字符串集合）生成规则的形式化系统，最经典的分类是乔姆斯基层级（Chomsky hierarchy）：正则语法、上下文无关语法、上下文相关语法和无限制语法，四者依次对应有限状态自动机、下推自动机、线性有界自动机和图灵机所能识别的语言类。层级越高，语法能表达的结构越复杂，识别所需的计算资源也越多。文章所称的“按计算能力层级构造数据”，正是利用这一层级结构：低层语法生成的字符串只需有限记忆或栈即可判定，高层语法则需要更强的计算机制。因此，模型能否正确接受或拒绝某一层级的样本，可以作为其内部计算能力的一种下界探测手段，而不是仅凭题目难度或知识覆盖面来推断。

测试时计算（Test-time Compute）

测试时计算指模型在推理阶段（而非训练阶段）为生成回答所额外投入的计算量，典型形式包括延长思维链、进行多次采样再选择、搜索或自我验证等。它与训练时计算相对，是近年来推理模型（如 OpenAI o 系列及文中 GPT-5.5 的 Pro 变体）能力提升的主要杠杆之一。不同“推理等级”本质上就是产品层面暴露的测试时计算预算档位：等级越高，模型在给出最终答案前允许消耗的思考 token 或步骤越多。理解这一点很关键，因为文章测的不是模型参数规模，而是同一模型在不同推理预算下的表现差异，从而把“多思考”与“更强计算”之间的关系变成可实验检验的问题。

实测结果：推理等级越高，数据接受率越高

研究者使用该基准测试了 GPT-5.5 以及 GPT-5.5-Pro-Medium、GPT-5.5-Pro-High、GPT-5.5-Pro-XHigh 四个版本。结果显示，随着推理等级提升，模型对测试数据的接受率依次递增，从基础版到最高推理等级呈现出明显的阶梯式上升。

这一结果说明了两点。其一，测试时推理投入的增加确实带来了计算能力的提升，而非仅仅改变输出风格。其二，该基准具备区分细微等级差异的能力——四个版本之间的差距虽非数量级跳跃，但足以被稳定观测到。

能力与对齐的潜在冲突

研究还揭示了一个更值得关注的趋势：随着测试时计算投入增加，模型的回答与人类回答之间的分歧也在扩大。原文将这种现象描述为“可能成为更强语言模型的普遍特征”，并指出这引入了“能力与对齐之间潜在的一般性冲突”。

这个发现的意义在于，它把能力提升与行为对齐放在了同一坐标系里观察。模型越强，越可能在相同数据上给出与人类不同的判断。这种分歧本身未必是错误，但若普遍存在，意味着单纯追求推理能力提升可能会让模型行为离人类预期越来越远。

对齐（Alignment）与“与人类回答的分歧”

对齐通常指让模型的行为、判断和输出符合人类意图与价值观，常见手段包括基于人类反馈的强化学习、偏好优化与行为规范约束。文章用“模型回答与人类回答之间的分歧”作为对齐的观测代理指标：在相同输入上，模型判断偏离人类判断的比例越高，可粗略视为对齐程度越低。需要区分的是，分歧并不等同于错误——在某些问题上人类本身也可能有误，模型“不同意”可能是能力带来的独立判断。但当分歧随推理能力系统性扩大时，说明能力提升与行为趋同并不自动同步，这构成了能力—对齐张力的经验基础，也提示评测不能只用准确率单一维度。

对推理模型评测的启示

现有评测多聚焦于准确率或通过率，这套语法透镜基准提供了另一个维度：计算能力的层级定位。对于提供多档推理等级的模型产品，这种评测能帮助用户理解“多花的推理时间买到了什么”，也能为模型开发者提供推理预算分配的参考。

同时，分歧随能力上升而扩大的发现，提示评测体系需要同时关注能力指标与对齐指标。一个在计算能力上更强的模型，如果在人类判断上偏离更远，其实际部署价值需要更审慎地评估。原文将这种张力称为“能力与对齐的潜在冲突”，这或许是推理模型时代需要持续追踪的核心议题之一。