概念Single-Head Attention
单头注意力
Transformer中仅保留一个注意力头的简化机制，常被用于理论分析以剥离多头交互的复杂性。
时间轴 (近 90 天)
11月2日
位置核是注意力机制中由位置编码诱导出的相似度函数；在单头注意力中，位置核通常表现为标量函数 k(i,j)，对于相对位置编码仅依赖于偏移量 i-j，对于绝对位置编码则依赖于 i 和 j 的具体取值。
待验证50%
10月14日
Ramsauer等人于2020年证明，Transformer中的单头注意力在数学上等价于现代Hopfield网络的一次检索更新：查询相当于当前状态，键相当于存储模式，注意力权重相当于检索分布。
待验证50%
10月7日
作者指出单头（one-head）模型在边界处存在结构性限制，并认为反射对称化（reflected symmetrization）可能带来改善
待验证50%