注意力机制
注意力机制是深度学习中的一种核心技术，使模型在处理序列数据时能够动态聚焦于输入中最相关的部分，而非均等对待所有信息。其核心思想是通过计算查询、键、值之间的相关性权重，实现对不同位置信息的选择性关注。广泛应用于自然语言处理、计算机视觉等领域，是Transformer架构的基础组件。
核心事实
自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
时间轴 (近 90 天)
基于注意力机制的模型可以高亮关键输入；局部可解释方法（如LIME）能近似解释单条决策；规则引擎与机器学习混合系统则直接输出命中规则。
深度融合、遮挡模拟增强和注意力机制三种标准架构在所测试配置下均未能在训练分布之外提升检测性能。
注意力机制在处理长文本时存在'中间遗忘'现象，即位于上下文中段的信息更容易被忽略
该交互式笔记项目覆盖了RLHF、Transformer注意力机制、LoRA和LLM评估四个主题。
LLM 的注意力机制在长程、高维数值依赖上表现脆弱，难以从扁平化的权重列表中重建出层级化的计算图结构。
在注意力机制中，点积QK^T产生的分数经过softmax后，每个词对其他词的关注权重被归一化为0到1之间、总和为1的数值。
注意力机制中，查询和键的点积结果对输入特征的尺度非常敏感，不同物理量的特征尺度差异较大可能导致注意力权重分布失衡。
Prefill阶段的计算量与上下文长度呈二次方关系。
当模型在输出中逐字母写出D-E-E-P-S-E-E-K时，这些字母会作为新的输入token被重新编码，相当于把原本封装在单个token里的字符信息“摊开”到序列中，使后续的注意力机制能够逐个访问。
注意力机制对特征图各通道或各位置赋予可学习的权重，实现软性的特征选择，权重大小由数据驱动而非人工设定。
还有 40 条时间轴事件
全部知识事实 (20)
自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
90%已验证The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证大语言模型的上下文窗口决定了模型在单次推理中能处理的信息量上限
90%已验证标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证基于Transformer的大语言模型使用注意力机制将系统提示、用户输入和外部检索内容统一编码为同质化的token序列，模型无法在语义层面区分可信指令与不可信数据
80%已验证自注意力机制能够捕捉序列中任意两个位置之间的依赖关系
80%已验证FlashAttention通过重新排列计算顺序、利用GPU的SRAM高速缓存减少显存读写，提升推理速度并保持与标准注意力计算数学上的等价性
80%已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响
80%已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理
80%已验证注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
80%已验证KVCache是Transformer架构中缓存之前所有token的Key和Value向量以避免重复计算的机制，其显存占用随上下文长度线性增长
75%已验证AlphaFold2通过引入注意力机制（Evoformer模块）和等变神经网络将蛋白质单体结构预测精度提升到接近实验级别
75%已验证Self-Attention的核心公式为Attention(Q,K,V) = softmax(QKᵀ/√dk)V，除以√dk是为了缓解点积值过大导致的梯度消失问题
75%已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块
75%已验证自注意力权重通过Softmax函数归一化，权重总和恒为1
70%