自注意力
序列内部每个位置与其他位置计算相似度的注意力机制，使模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心组件。
核心事实
时间轴 (近 90 天)
Transformer是完全基于自注意力构建的架构。
自注意力本身是排列不变的，模型无法从注意力输出中直接得知输入的顺序。
Transformer通过注意力机制访问过往轨迹，代价是二次方的内存与计算开销。
Transformer每个块包含自注意力层和逐位置的前馈网络，两者外围都有残差连接和层归一化。
自注意力（Self-Attention）指序列内部的每个位置都与其他位置计算相似度，从而让模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心。
分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍
研究发现幻觉表现为三类信息流失真模式：过度依赖自注意力、上下文检索弥散、信息过度挤压
分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长
缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
全部知识事实 (12)
分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长
75%已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%已验证自注意力机制允许模型在处理每个Token时同时看到输入序列中所有其他Token的信息，注意力矩阵计算复杂度为O(n²)
65%待验证Transformer是完全基于自注意力构建的架构。
50%待验证自注意力本身是排列不变的，模型无法从注意力输出中直接得知输入的顺序。
50%待验证Transformer通过注意力机制访问过往轨迹，代价是二次方的内存与计算开销。
50%待验证Transformer每个块包含自注意力层和逐位置的前馈网络，两者外围都有残差连接和层归一化。
50%待验证自注意力（Self-Attention）指序列内部的每个位置都与其他位置计算相似度，从而让模型在同一序列中建立全局依赖，是Transformer编码器和解码器的核心。
50%待验证分词本质上是查表与少量字符串匹配操作，复杂度与序列长度近似线性，单位成本远低于Transformer中的自注意力或矩阵乘法。
50%待验证当序列长度n从2K增长到128K时，注意力计算量暴增约4000倍
50%待验证研究发现幻觉表现为三类信息流失真模式：过度依赖自注意力、上下文检索弥散、信息过度挤压
50%待验证缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
50%