[控场AI]
概念Positional Kernel

位置核

注意力机制中由位置编码诱导的相似度函数,衡量查询位置与键位置之间的关系,其数学性质决定长度泛化可能性。

时间轴 (近 90 天)

11月2日

理论的核心工具是模拟转移算子 T_L,它在更长的网格上重新评估一个选定的、能实现长度 L_0 的位置核。

待验证50%
11月2日

位置核是注意力机制中由位置编码诱导出的相似度函数;在单头注意力中,位置核通常表现为标量函数 k(i,j),对于相对位置编码仅依赖于偏移量 i-j,对于绝对位置编码则依赖于 i 和 j 的具体取值。

待验证50%

全部知识事实 (2)

来源文章