注意力机制
注意力机制是深度学习中的一种核心技术，使模型在处理序列数据时能够动态聚焦于输入中最相关的部分，而非均等对待所有信息。其核心思想是通过计算查询、键、值之间的相关性权重，实现对不同位置信息的选择性关注。广泛应用于自然语言处理、计算机视觉等领域，是Transformer架构的基础组件。
核心事实
时间轴 (近 90 天)
缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
研究表明注意力层主要负责信息的路由和聚合，而MLP层更像是知识的存储库，负责非线性变换和信息的深度加工
文档中塞满大量面向Agent的指令会稀释重要指令的权重，因为注意力权重必须在更多token之间分配
注意力机制的计算复杂度随上下文窗口长度呈平方级增长，导致推理延迟与成本急剧上升
Attention公式中除以√d_k的原因是防止点积过大导致softmax梯度消失
Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
全部知识事实 (7)
注意力机制的计算复杂度随上下文窗口长度呈平方级增长，导致推理延迟与成本急剧上升
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
80%已验证Attention公式中除以√d_k的原因是防止点积过大导致softmax梯度消失
65%待验证缩放点积注意力公式为 Attention(Q,K,V) = softmax(QK^T/√d_k)V，除以√d_k是为防止点积在高维空间中过大导致softmax进入饱和区域
50%待验证研究表明注意力层主要负责信息的路由和聚合，而MLP层更像是知识的存储库，负责非线性变换和信息的深度加工
50%待验证文档中塞满大量面向Agent的指令会稀释重要指令的权重，因为注意力权重必须在更多token之间分配
50%