Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
NLP方向以Transformer架构为基础，需要掌握预训练语言模型（如BERT、GPT系列）的原理、微调方法（如LoRA、Prompt Tuning）以及文本向量化技术
原始Transformer由编码器（Encoder）和解码器（Decoder）构成，BERT类模型只用编码器擅长理解和分类，GPT类模型只用解码器专注文本生成
位置编码（Positional Encoding）通过给每个词附加位置信息，解决注意力机制本身无序、不知道词先后顺序的问题
大模型（LLM）通常指参数量达数十亿乃至数千亿级别、基于Transformer架构预训练的语言模型，代表产品包括GPT系列、LLaMA、Claude
Transformer输出token时经过采样，会永久丢失关于模型考虑过哪些可能性及各自置信度的信息（有损过程）
DeepSeek新模型采用编码器-解码器混合架构，将40层网络从中间切开，底部20层为编码器，顶部20层为解码器
Transformer 输入文本首先经过 Tokenizer 分词，把文本切成 N 个 Token，Token 是语言模型理解语义的最小单元
学习大模型的知识依赖层次为：Python编程基础、机器学习核心概念、大模型特有内容（如Transformer架构、API调用、RAG）
现代 MoE 大模型通常在 Transformer 的 FFN 层引入专家结构，每个专家本质是一个独立的 FFN，由门控网络决定 token 分配
Softmax提供的非线性归一化和竞争性注意力分配是Transformer表现优异的重要原因之一
还有 40 条时间轴事件
全部知识事实 (20)
标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%已验证GPT系列模型基于Transformer架构，通过海量文本预训练和人类反馈强化学习（RLHF）进行对齐优化
85%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
80%已验证Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
80%已验证自注意力机制将输入序列中每个词映射为Query、Key、Value三个向量，通过计算Query与Key的点积并经Softmax归一化得到注意力权重
80%已验证AI编码工具基于大型语言模型（LLM），通过在海量代码库上预训练学习代码的统计模式和语义结构，并使用Transformer架构理解上下文和生成连贯代码。
80%已验证大语言模型本质上是无状态函数，权重在推理时已经固定，不会随时间推移而学习
80%已验证注意力机制（Attention Mechanism）是Transformer架构的核心组件，也是当前所有主流大语言模型的基础
80%已验证GPT系列采用Transformer的解码器（Decoder-only）变体，通过自回归方式逐Token预测下一个词
80%已验证ViT（Vision Transformer）将图像切分为固定大小的16×16 patch序列后输入标准Transformer
80%已验证FLUX采用了DiT（Diffusion Transformer）架构，用纯Transformer替代了传统的U-Net结构
80%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证自注意力机制由Google在2017年的论文《Attention Is All You Need》中提出
80%