Transformer组合泛化评测：等价性与模块覆盖的关键作用

引言：组合泛化评测的困境

组合泛化是分布外泛化的一种重要形式，指模型在训练时见过某些模块组合（如排序、过滤等函数），测试时能否泛化到未见过的组合。尽管针对Transformer的组合泛化已有大量实证研究，但结论却常常互相矛盾——原因在于评估往往依赖有限且临时定义的训练-测试划分。一项系统性评估揭示，训练-测试分布的两个关键属性会强烈影响性能：组合等价性（composition equivalence） 与模块覆盖（module coverage）。

组合泛化（compositional generalization）是衡量模型能否将已学过的简单函数或模块按照新方式组合起来、并正确执行未见组合的能力。它与分布外泛化（out-of-distribution generalization）密切相关，但更强调结构层面的重组：模型不仅要应对输入分布偏移，还要处理模块组合方式的变化。在程序合成、语义解析、指令遵循等任务中，组合泛化被视为检验模型是否真正理解语言或代码结构的关键指标。然而，由于组合空间巨大，研究者通常只能采样有限组合来构造训练-测试划分，划分方式的不同会直接导致评测结论的差异，这也是该领域实证结果难以复现和比较的根源之一。

组合等价性：性能虚高的主要来源

研究发现，直接模型（仅训练最终输出）的表面上不错的表现，主要来自利用了组合等价性——即不同的模块序列归约为相同的端到端函数。当基准测试消除这些等价性后，性能显著下降，说明这类模型无法泛化到已知模块组合产生的新端到端函数。换句话说，模型可能只是在记忆输入输出映射中的捷径，而非真正学会组合规则。

这一发现对基准设计有直接启示：包含组合等价性的基准会显著高估直接模型的泛化能力。

组合等价性指不同的模块序列在端到端语义上产生相同函数的现象。例如，“先过滤再排序”与“先排序再过滤”在某些数据分布下可能得到相同输出，或者两个不同的函数组合恰好归约为同一个映射。当训练集和测试集之间存在这种等价关系时，模型即使没有真正学会组合规则，也可能通过记忆输入输出映射而在测试集上表现良好。这种“捷径”使得基准分数虚高，掩盖了模型在真正未见组合上的失败。消除组合等价性意味着测试集中的每个端到端函数都不能由训练集中已有组合直接等价得到，从而更严格地检验模型的组合能力。

模块覆盖：性能随偏移单调下降

除了等价性，模块覆盖同样关键。当训练和测试之间模块出现的上下文发生偏移（即模块覆盖偏移增加）时，性能会单调下降，且这种影响同时作用于直接模型和逐步模型（训练中间输出和最终输出）。这意味着，即使模型学会了单个模块，当这些模块在新上下文中组合时，表现也会变差。

更严重的是，如果基准同时包含模块覆盖违规和组合等价性，会加剧捷径学习——模型倾向于利用表面模式而非真正理解组合结构。

模块覆盖（module coverage）衡量训练集中每个模块出现的上下文多样性。如果某个模块在训练时只出现在少数固定上下文中，测试时却需要它在全新上下文中与其他模块组合，模型就可能无法正确调用该模块。模块覆盖偏移越大，意味着测试组合与训练组合在模块共现模式上的差异越大。研究表明，这种偏移会单调地降低性能，且对直接模型和逐步模型都成立。逐步模型虽然训练了中间输出，提供了更密集的监督信号，但仍无法完全抵消覆盖偏移带来的负面影响。因此，基准设计需要显式控制模块覆盖的分布，避免测试集过度偏离训练集中模块出现的上下文。

对基准设计的启示

上述发现对组合泛化基准的设计提出了明确要求：

• 避免包含组合等价性的测试集，否则会高估直接模型的泛化能力；
• 控制模块覆盖偏移，以更真实地衡量模型对未见组合的适应能力；
• 同时考虑两种因素，防止捷径学习被掩盖。

作为案例研究，作者展示了组合等价性对预训练模型Llama3-8B在编码基准LiveCodeBench上代码输出预测任务中泛化性能的影响。这表明，即使是大型预训练模型，其组合泛化评估也可能受到等价性的干扰。

总结

组合泛化的评测并非简单的训练-测试划分问题。组合等价性和模块覆盖是影响性能的两个核心因素，忽略它们可能导致对模型能力的错误判断。未来的基准设计需要更系统地控制这些变量，才能推动真正具有组合泛化能力的模型发展。