眼动追踪+心理物理注意力分布：奖励模型偏好预测新思路

从眼动追踪到注意力分布：奖励建模的新信号

将人类反馈整合进语言模型，是让模型输出对齐人类偏好的关键路径，RLHF（基于人类反馈的强化学习）是其中最具代表性的框架。近年有研究尝试把眼动追踪（Eye-Tracking, ET）数据作为额外的监督信号，让奖励模型的学习扎根于人类真实的阅读行为。在此基础上，一项新工作进一步引入认知心理学中关于人类字母识别的成熟发现，把视觉注意力建模为以当前注视点为中心、在空间上渐变的分布，并将这一表示纳入奖励模型训练。

核心结论先行： 实验显示，使用这种注意力分布训练的奖励模型，在偏好预测准确率上高于基线模型；部分实验结果在定性层面与阅读过程中人类注意力分配的既有发现一致，暗示模型可能捕捉到了具有认知意义的注意力分配特征。

为什么眼动数据值得引入奖励模型

传统 RLHF 的偏好标注通常是“整体判断”——标注者看完一对回答后给出哪个更好的结论。这种信号稀疏且丢失了阅读过程中的细节：人到底在哪句话上停留更久、在哪里回看、在哪里跳过。眼动数据恰好能补上这一层，把“偏好”拆解为可观测的阅读行为。

此前的注视中心模型（fixation-centric）已经验证了这条路的可行性，但它对注视点的处理相对粗糙：往往把当前注视位置当作一个点，或只考虑离散的注视事件。问题在于，人类阅读时的注意力并非精确落在单个字母上，而是围绕注视点形成有梯度的感知范围——这正是认知心理学中字母识别研究的经典结论。新工作做的，就是把这个“渐变分布”的假设搬进奖励模型。

RLHF（基于人类反馈的强化学习） 是当前大语言模型对齐的主流范式，其典型流程分三步：首先收集人类对模型输出的偏好比较（如对同一提示的两个回答排序），据此训练一个奖励模型来拟合人类偏好；然后用强化学习算法（如 PPO）优化语言模型，使其输出能获得更高的奖励分数。奖励模型在此框架中扮演“人类偏好代理”的角色，它的质量直接决定了最终对齐效果。因此，如何为奖励模型提供更丰富、更少噪声的监督信号，是 RLHF 研究的核心问题之一。眼动追踪等生理行为数据的引入，正是沿着这一思路，试图在稀疏的整体偏好标签之外，补充阅读过程中的细粒度行为证据。

注视中心模型（fixation-centric model） 指以单个注视点或离散注视事件为基本单位来建模视觉注意力的方法。眼动仪记录的数据本质上是一串注视点坐标与持续时间，早期研究常把每个注视点视为独立的注意力落点，或仅统计注视时长、回看次数等事件级特征。这类做法的局限在于忽略了注视点周围的空间感知范围：人眼在注视点附近仍能获得清晰的视觉信息，且识别能力随偏心距增大而平滑下降。新工作用连续的空间衰减分布替代离散注视点，正是对注视中心模型这一简化假设的修正。

方法：把注意力建成空间渐变分布

该研究的具体做法是：将视觉注意力表示为一个以当前注视位置为中心、随空间距离衰减的分布，而不是孤立的注视点。这个分布随后被编码进奖励模型的训练过程，作为额外的监督信号与偏好标签共同作用。

这一设计的巧妙之处在于它的“心理物理”根基。字母识别研究早已表明，人眼在注视点周围不同位置识别字符的准确率存在系统性差异，注意力资源按空间位置分配。把这一先验注入模型，相当于给奖励模型提供了一个更贴近人类感知机制的结构化归纳偏置，而不是让模型从零开始猜测眼动数据该如何解读。

从工程角度看，这种表示也更容易与现有奖励模型管线结合：它不改变偏好学习的整体框架，只是丰富了输入信号的形态。

字母识别中的“视觉跨度”（visual span）与偏心距效应 是认知心理学的经典发现：人眼中央凹区域分辨率最高，随着刺激偏离注视点（偏心距增大），字符识别准确率系统性下降，形成所谓“视觉跨度”范围。这一现象可用高斯或类似的衰减函数描述，即注意力资源在注视点周围按空间距离连续分配。将这一先验参数化为以注视点为中心、随距离衰减的分布，本质上是把心理物理学中已验证的感知规律作为归纳偏置注入模型，使奖励模型无需从有限眼动数据中从头学习“注意力如何随位置变化”，从而降低样本需求并提升泛化。

实验结果：准确率提升与认知一致性

论文报告的主要量化结果是：采用所提出的注视分布训练的奖励模型，偏好预测准确率高于基线模型。需要说明的是，原始摘要并未披露具体的准确率数值与提升幅度，但“更高”这一方向性结论是明确的。

更有意思的是定性层面的发现。实验中的部分结果与阅读时人类注意力分配的既有研究在性质上吻合，研究者据此认为，模型可能确实捕捉到了人类注意力分配中具有认知意义的部分。这一点比单纯的指标提升更值得关注——它暗示模型学到的不是数据中的偶然统计规律，而是某种与人类阅读机制同构的东西。

不过也要保持审慎：定性一致不等于机制相同，摘要层面的证据尚不足以证明模型内部真的复现了人类的注意力分配过程。

意义与局限：一条值得继续走的路线

这项工作的价值在于它展示了“认知科学先验 + 多模态监督信号”在奖励建模中的潜力。RLHF 的核心瓶颈之一是偏好信号的噪声与稀疏，眼动数据提供了更细粒度的行为证据，而心理学模型则为这些证据提供了正确的解读框架。二者结合，让奖励模型的对齐目标更接近“人类实际如何阅读与判断”，而非抽象的偏好标签。

局限同样明显。眼动数据的采集成本高、规模受限，这类方法的可扩展性仍待验证；注意力分布的参数化方式是否适用于非阅读类任务，也还是开放问题。论文本身目前只给出了方向性结论，缺少对具体提升幅度的公开说明。

对关注对齐研究的团队来说，这条路线值得跟踪：它提示我们，奖励模型的下一步改进，也许不只来自更大的偏好数据集，还来自对人类感知与认知机制的更精细建模。

归纳偏置（inductive bias） 指模型在学习过程中所依赖的、超出训练数据本身的结构性假设，例如卷积网络的局部性假设、循环网络的时序假设。合适的归纳偏置能缩小假设空间、提升样本效率与泛化能力；不合适的偏置则会限制模型表达力。本研究把“注意力随空间距离渐变”这一心理学先验作为归纳偏置注入奖励模型，相当于告诉模型眼动信号应如何解读，而非任其从数据中自行发现规律。这也解释了为何该设计在数据规模有限的眼动场景下更具可行性，同时提示其适用范围可能受限于该先验成立的阅读类任务。