Transformer
Transformer是一种基于自注意力机制（Self-Attention）的深度学习模型架构，由Google于2017年提出。它通过并行处理序列数据、捕捉长距离依赖关系，克服了传统循环神经网络的局限性。该架构广泛应用于自然语言处理、计算机视觉、语音识别等领域，是当前大规模预训练语言模型（如BERT、GPT系列）的基础结构。
核心事实
时间轴 (近 90 天)
IRIS使用VQ-VAE或类似分词器将观测压缩成离散token序列，再用自回归Transformer建模token之间的转移。
Transformer架构最初用于文本，后扩展至图像（ViT）、音频（AST）和多模态。
混合专家（MoE）已成为构建计算高效Transformer的主流范式。
2018年Transformer出现后，行业走出三条技术路线：只用编码器的BERT路线、只用解码器的GPT路线，以及编码解码一起用的T5路线。
在Transformer中，Q、K、V矩阵由输入序列的隐藏表示分别乘以三个可学习的权重矩阵W_Q、W_K、W_V得到。
近年来Transformer在决策任务中的应用多集中在模仿学习和离线强化学习，在线Q学习场景下的尝试相对较少。
将Transformer与Q学习结合面临稳定性挑战，因为Q学习本身存在过估计和训练不稳定问题，叠加Transformer的高容量后稳定性挑战更加突出。
该研究用Transformer编码器替代RNN作为记忆模块，输入是智能体过去若干步的观测、动作和奖励序列，输出用于估计Q值。
目前招聘Agent相关岗位的企业，绝大多数不要求候选人精通算法或Transformer原理，真正稀缺的是能将业务需求转化为机器可执行步骤的人。
据B站UP主整合版本，课程分为三大模块：基础篇（Python、环境搭建、提示词工程、Transformer、预训练、SFT、RLHF等），进阶篇（RAG、Agent、LangChain、微调与私有化部署），实战篇（企业级项目如医疗问答、电商客服、数字人、教育助教）。
还有 40 条时间轴事件
全部知识事实 (20)
KV 缓存是 Transformer 自回归推理中的核心数据结构，其大小约等于 2 × 层数 × 注意力头数 × 头维度 × 序列长度 × 精度字节数。
90%已验证KV Cache 通过在 GPU 显存中缓存已计算的 Key-Value 对，将自注意力计算复杂度从 O(N²) 降至 O(N)，但显存占用随序列长度线性增长
90%已验证自注意力机制通过将输入映射为Query、Key和Value三组向量，计算点积相似度后softmax归一化，再对Value加权求和生成融合全局上下文的表示
90%已验证The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证现代LLM基于2017年Google提出的Transformer架构，其核心创新是自注意力机制（Self-Attention）
90%已验证Prefill阶段是计算密集型操作，Decode阶段是显存带宽密集型操作
90%已验证KV Cache占用的显存随序列长度线性增长
90%已验证大型语言模型处理长上下文时，注意力机制的计算复杂度与序列长度的平方成正比
90%已验证Vision Transformer（ViT）由Google在2020年提出，将图像分割为固定大小的patch作为序列输入Transformer编码器
90%已验证标准Transformer架构的自注意力机制计算复杂度为O(n²)
90%已验证Transformer架构于2017年由Google提出
90%已验证大语言模型基于Transformer架构，通过海量文本数据训练而成
90%已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer架构由Google在2017年的论文《Attention Is All You Need》中提出
90%已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）
90%已验证Transformer架构于2017年由Google Brain团队在论文《Attention Is All You Need》中提出
90%已验证Whisper是OpenAI于2022年开源的自动语音识别模型，采用Transformer架构，在68万小时多语言音频数据上训练而成
90%已验证Vision Transformer（ViT）由Google Brain团队于2020年提出，将Transformer架构引入计算机视觉领域
90%已验证GPT-4、Claude、Gemini等大语言模型的核心工作原理是基于Transformer架构的下一个token预测
90%