自注意力机制
自注意力机制是Transformer架构的核心组件，通过查询（Query）、键（Key）、值（Value）三组矩阵计算序列内各位置之间的相关性权重，使模型能够捕捉长距离依赖关系
核心事实
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
时间轴 (近 90 天)
当序列长度 n 从 128k 增至 1M 时，注意力矩阵元素数量增长约 64 倍。
标准自注意力中每个查询与所有键计算相似度，计算量为 O(n²d)，其中 n 为序列长度，d 为头维度。
自注意力机制允许模型直接关注历史中任意时间步的相关信息，而不必像RNN那样逐步传递隐状态。
主流 Transformer 采用自注意力机制，标准实现的计算量与显存占用随序列长度呈平方级增长。
Transformer的编码器只用自注意力，解码器交替使用自注意力和交叉注意力。
标准自注意力机制中每个 token 需与序列中所有其他 token 计算相关性，计算复杂度约为序列长度的平方（O(n²)）。
完整的自注意力流水线为：输入矩阵 → Q/K/V投影 → Q×K^T → 除以√dk → Softmax → 乘以V → 上下文丰富的输出。
自注意力最终输出是通过注意力权重对Value向量进行加权求和得到的。
位置编码用于向模型注入词序信息，因为注意力机制本身不区分位置顺序
TabPFN需要将整个训练集作为上下文一次性输入Transformer，其计算复杂度随样本数呈二次方增长
还有 12 条时间轴事件
全部知识事实 (20)
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Transformer的核心创新是用自注意力机制替代RNN的时序处理方式，实现了高度并行化训练，但放弃了RNN的隐状态跨时间步传递机制
80%已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理
80%已验证Transformer的编码器只用自注意力，解码器交替使用自注意力和交叉注意力。
75%已验证分辨率翻倍时模型需要处理的注意力计算量往往增长至四倍甚至更高，导致耗时非线性增长
75%已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块
75%已验证Transformer通过自注意力机制并行处理文本序列,能够捕捉长距离依赖关系,不同于传统RNN
65%已验证大模型生成输出采用自回归方式逐个token生成，每生成一个token都需重新计算对所有前文的注意力
65%已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%已验证自注意力机制通过计算查询（Query）与所有键（Key）的点积相似度来决定每个位置应关注序列中哪些其他位置
65%已验证Set Transformer基于自注意力机制建模行向量交互，通过去掉位置编码保持排列不变性
65%已验证标准注意力机制中，Query矩阵与Key矩阵做矩阵乘法得到n×n注意力分数矩阵，计算复杂度为O(n²·d)
65%待验证大模型核心原理包括Transformer架构、预训练、SFT监督微调、RLHF人类反馈强化学习等关键概念
95%待验证自注意力机制通过将输入序列线性变换为Query、Key、Value三个矩阵，注意力权重由Q与K的转置相乘后经Softmax归一化得到，再与V相乘得到输出
60%待验证Transformer使用位置编码（Positional Encoding）在并行计算的同时保留词的顺序信息
60%待验证当序列长度 n 从 128k 增至 1M 时，注意力矩阵元素数量增长约 64 倍。
50%待验证标准自注意力中每个查询与所有键计算相似度，计算量为 O(n²d)，其中 n 为序列长度，d 为头维度。
50%待验证自注意力机制允许模型直接关注历史中任意时间步的相关信息，而不必像RNN那样逐步传递隐状态。
50%