Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
在Transformer架构中，每生成一个token的计算量与激活参数量近似成正比，稠密模型激活参数量等于总参数量，MoE模型激活参数量远小于总参数量
在Transformer架构中，MLP层承担了大量的信息处理工作
Transformer采用缩放点积注意力（Scaled Dot-Product Attention），每个词被映射为查询（Query）、键（Key）和值（Value）三个向量，注意力权重通过Query与Key的点积计算并经softmax归一化后对Value加权求和
Transformer的自注意力机制打破了RNN和LSTM必须逐步顺序处理的瓶颈，实现高度并行化训练
Qwen3-4B 版本拥有约40亿参数，采用 Transformer 解码器架构，支持多语言理解与生成
标准Transformer自注意力对于长度为T的序列需要O(T²)次点积运算和T×T大小的注意力矩阵
在WikiText-103数据集上，约10M参数下CWAA V6验证困惑度为139.09，标准Transformer为149.19，CWAA约有7%相对改善
CWAA（Complex Wave Associative Memory，复数波关联记忆）是一位独立研究者的开源项目，试图用复数波动力学替代Transformer的标准注意力机制
标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，与其注意力机制的软寻址特性有关
现代 ASR 模型在解码每个词时会计算概率分布，识别越有把握置信度分数越接近 1.0，可通过阈值将低置信度词标记为不确定
还有 40 条时间轴事件
全部知识事实 (20)
标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%已验证AI编码工具基于大型语言模型（LLM），通过在海量代码库上预训练学习代码的统计模式和语义结构，并使用Transformer架构理解上下文和生成连贯代码。
80%已验证注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证研究表明当上下文过长时，模型对中间部分信息的注意力会显著下降，即"Lost in the Middle"现象
80%已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍
80%已验证Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
80%已验证当前主流大语言模型本质上是基于Transformer架构的概率预测系统，通过预测下一个最可能的Token来生成内容
80%已验证Transformer架构的注意力机制在处理超长序列时，对早期内容的关注度会显著下降，导致模型遗忘前文设定
80%已验证大语言模型本质上是基于Transformer架构的概率预测系统，通过预测下一个最可能出现的词来生成文本
80%已验证KV缓存将已计算的Key-Value矩阵存储在显存中实现增量计算，代价是显存占用随序列长度线性增长
75%已验证LLM的生成机制是基于概率的文本预测，而非真正'理解'代码语义
75%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出，其核心自注意力机制能捕捉序列中任意位置之间的依赖关系
70%已验证上下文污染指无关或有害信息占据模型有限的上下文窗口空间，导致模型注意力被分散、推理质量下降
70%已验证大语言模型基于Transformer架构，每次推理都是独立的前向传播过程，不保留任何会话状态
70%已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%已验证Mamba由卡内基梅隆大学于2023年提出，基于状态空间模型（SSM），在长序列任务上将计算复杂度从Transformer的O(n²)降至接近线性
65%