Born测量注意力：可解释Transformer的量子光学之路

语言模型给出答案时，我们通常只能猜测其背后的原因。一篇新论文提出了一种完全基于Born测量的Transformer架构，让模型的每一步计算都变得可追溯、可解释。该研究不仅实现了与标准softmax Transformer相当的准确率，还展示了如何将模型精确编译到光子和量子硬件上。

核心创新：用Born规则替代传统组件

传统Transformer的注意力机制通过softmax归一化，前馈网络使用非线性激活函数。这项研究则从根本上重构了这些组件：注意力权重采用|⟨q|k⟩|⁴并在每行上归一化，前馈非线性被替换为测量乘积，输出层也使用Born读出。这种设计使得每个类别的概率成为词振幅的多项式函数——只要分母保持在输入时的值。

这种多项式结构带来了关键优势：类别概率的积分梯度证据可以通过有限求积精确计算，没有任何求积误差。词贡献之和与类别概率在无信息基线之上的差值吻合到10⁻¹¹或更好。这意味着模型不仅能给出答案，还能精确量化每个词对答案的贡献。

Born规则源自量子力学，描述测量时粒子以概率形式出现在某个状态，概率等于波函数振幅的模平方。在Transformer中引入Born规则，意味着注意力权重不再经过softmax归一化，而是通过查询与键的内积的模四次方来计算，并每行归一化。这种设计将每个类别的概率表示为词振幅的多项式函数，从而使得模型的计算过程具有可解析性，为精确计算词贡献提供了数学基础。

性能与可解释性的平衡

在e-SNLI自然语言推理任务上，该模型在嵌入层之外仅有约98k参数，测试准确率达到76.98±0.17%，与同规模softmax Transformer的76.62±0.36%持平。这表明Born测量架构并未牺牲预测性能。

真正的差异体现在可解释性上。删除证据排名第一的词，在45%的测试对中改变了答案——而任何单次删除最多只能改变53%的答案。相比之下，用同样方法解释的softmax模型只有32%的改变率，其注意力×梯度方法为40%。说个细节，注意力权重与人工标注的重点词更吻合，但解释答案的能力反而更弱：删除Born Transformer注意力排名第一的词，仅在32%的测试对中改变答案。

积分梯度（Integrated Gradients）是一种事后可解释性方法，通过沿基线到输入的路径积分梯度来归因每个特征的重要性。该方法满足完备性公理，即所有特征归因之和等于模型输出与基线输出的差。然而，传统神经网络中积分梯度通常使用近似求积，存在数值误差。Born测量注意力因多项式结构允许精确求积，从而消除了这种误差，使得词贡献的加和与类别概率之差吻合到10⁻¹¹量级，提升了归因的可靠性。

从软件到硬件的精确映射

该研究的另一大突破是模型与硬件之间的直接对应关系。同一组权重可以精确编译到光电光学系统和量子比特上，一个相干注意力层对应一个量子电路，在23个量子比特上需要852个CNOT门。

在IBM的ibm_kingston量子设备上，研究者通过Hadamard测试仅读取注意力重叠部分，设备在两个简短测试对上给出了与模型一致的答案，并且在删除操作下保持或改变答案的行为也与模型相同。不过，证据本身尚未在设备上存活，论文还计算了在硬件上测量证据所需的shots和校准要求。

CNOT门（受控非门）是量子计算中的基本双量子比特门，用于实现纠缠和量子逻辑操作。在量子电路中，CNOT门的数量是衡量电路复杂度和硬件纠错需求的关键指标。该研究将注意力层映射到量子电路，每层需要一定数量的CNOT门（如23量子比特需852个），这直接反映了在现有量子硬件上运行此类模型的资源开销和可行性限制。

对可解释AI的启示

这项工作指出了一个方向：与其事后解释黑箱模型，不如构建从底层就透明的架构。Born测量注意力让每个词的贡献成为可精确计算的量，而不是近似估计。虽然当前量子硬件还无法完整承载证据测量，但经典模拟下的结果已经展示了这种架构在可解释性上的显著优势。

论文同时揭示了一个反直觉的发现：注意力模式与人类标注对齐并不等于模型解释力强。Born Transformer的注意力更接近标注者的重点词，但其注意力排名对答案的预测能力却弱于证据排名。这提醒我们，评估可解释性方法时需要区分“看起来合理”和“真正因果相关”。