单头注意力长度泛化的位置可实现性理论

长度泛化（Length Generalization, LG）为何如此依赖位置编码（Positional Encoding, PE）？相对方案能外推固定偏移，绝对方案固定位置，但两者都难以处理不断增长的偏移。一篇新论文提出了一个“位置可实现性理论”，通过精心控制的单头位置注意力抽象，推导出了这一被广泛记录的经验模式，并精确指出了其成立与失效的边界。

理论核心：模拟转移算子与α_L

该理论的核心工具是模拟转移算子 $T_L$，它在更长的网格上重新评估一个选定的、能实现长度 $L_0$ 的位置核（positional kernel）。关键在于，一个标量 $\alpha_L \in [0,1]$ 可以在任何训练之前，仅从 $(\Phi, t_n)$ 中读取出来。$\alpha_L$ 充当了该分类法推导的可计算见证，而非一个更强的经验预测器。

理论结果包括：具有严格唯一全局最大值的核的相对头深行表征（定理2）、推导出该模式的绝对/相对对偶性（命题4）、学习绝对位置的不确定性结果，以及一个静态表达能力界。一个充分性定理（定理1）将 $\alpha_L$ 与长度泛化联系起来，而一般确定性情形则是一个精确的开放猜想（纠正了一个诱人但无效的“外跨距”论证）。

位置核（positional kernel） 是注意力机制中由位置编码（PE）诱导出的相似度函数，用于衡量查询位置与键位置之间的相对或绝对关系。在单头注意力中，位置核通常表现为一个标量函数 $k(i,j)$，其中 $i$ 和 $j$ 分别为查询和键的位置索引。对于相对位置编码，该核仅依赖于偏移量 $i-j$；对于绝对位置编码，则依赖于 $i$ 和 $j$ 的具体取值。理论中的“核转移”即指在训练长度 $L_0$ 上选定的核，在更长的网格上重新评估其行为，从而判断其能否实现长度泛化。位置核的数学性质（如唯一全局最大值、连续性）直接决定了长度泛化的可能性，这是模拟转移算子 $T_L$ 分析的基础。

实验验证：α_L 精确分离泛化与非泛化单元

实验确认了该结构：在受控的单头机制中，$\alpha_L$ 精确地将分类法中泛化与非泛化的（PE，任务）单元分开（共2625次训练模型测量，在词表大小64、维度128下稳定）。这意味着，仅凭 $\alpha_L$ 这一标量，就能在训练前判断一个给定的位置编码与任务组合是否能够实现长度泛化。

研究还指出，这些结果将既有的PE分类法转变为一个位置核转移定理，并识别出逃避该定理的内容与深度机制。

单头位置注意力抽象 是一种理论简化模型：仅保留一个注意力头，且该头只关注位置信息（忽略词元内容），从而将长度泛化问题约化为位置核在长网格上的行为分析。这种抽象剥离了多头交互和内容混合的复杂性，使得研究者能够精确推导位置编码的数学性质。该抽象对应于实际Transformer中位置通道的“最小工作单元”，若在此简化模型中都无法泛化，则完整模型更难通过内容机制弥补。实验中的受控单头机制即基于此抽象构建，以确保测量结果直接反映位置核的泛化能力，而非其他因素的干扰。

理论边界：仅关注位置通道

该理论仅涉位置通道本身。那些目标依赖于词元内容的任务，包括标准的长度泛化测试套件（如加法和排序），都落在定理2的范围之外。这明确了理论的适用边界：它解释的是位置编码方案本身的性质，而非内容相关的泛化能力。

长度泛化测试套件 是评估模型在训练长度之外表现的标准基准，常见任务包括加法（两个多位数相加）、排序（对数字序列排序）和复制等。这些任务通常要求模型在比训练时更长的序列上保持正确输出，因而对位置编码的外推能力提出挑战。然而，这些任务的目标输出依赖于词元内容（如数字的值），而不仅仅是位置关系。因此，位置可实现性理论仅能解释位置通道的贡献，无法涵盖内容与位置交互产生的泛化行为。这解释了为何理论将加法和排序排除在定理2范围之外，并指出内容机制可能“逃避”位置通道的限制。

意义与开放问题

这项工作弥合了经验观察与理论解释之间的鸿沟，为位置编码的选择提供了可计算的理论指导。同时，一般确定性情形仍是一个开放猜想，内容与深度机制如何突破位置通道的限制，也是未来研究的方向。