#Transformer
共 28 篇相关文章
SpecSlot：解耦细节与全局注意力的像素生成Transformer
SpecSlot 提出一种角色耦合的 tokenization 方法，将低频全局结构与高频局部细节解耦，在不扩大全局注意力序列的前提下提升像素空间生成 Transformer 的细节表现，并在 ImageNet 和文本到图像任务上以更低算力取得更好效果。
十分钟搞懂AI大模型：Token、向量与Transformer原理
从Token、向量嵌入到Transformer自注意力机制，系统拆解AI大模型预训练、微调与推理三阶段原理，解释大模型为何逐词输出、幻觉从何而来，以及它如何理解上下文语义。
手算Transformer前向传播：逐矩阵理解大模型
一位Reddit用户分享通过手算Transformer前向传播的每个矩阵来理解大模型内部机制的方法，涵盖位置编码、编码器形状不变性以及BERT与编码器的关系，并附有分步练习资源。
Transformer泛化边界新解：长序列训练为何比多样本更高效
最新研究联合分析Transformer的分布内泛化与长度泛化，发现增加训练长度比增加样本数指数级更高效，为长序列训练策略提供理论依据。
生成式AI开发课：FlashAttention、GQA与MoE架构解析
解析生成式AI开发课第二讲：FlashAttention如何减少GPU内存搬运，GQA与MQA如何通过共享键值头压缩KV缓存，混合专家MoE如何以更少激活参数扩大模型容量，以及这些技术的性能与质量取舍。
从零手写Transformer：5.3万参数造恐龙名字生成器
开发者用 PyTorch 从零手写 Transformer，打造 5.3 万参数的 DinoGPT 恐龙名字生成器，训练于 1535 个恐龙名称，并封装成 Streamlit 可交互 demo。本文解析其技术思路、小模型学习价值与产品化启示。
从零实现Transformer架构：训练加速与效果提升实战
Reddit开发者从零实现Transformer架构但训练慢效果差。本文分析瓶颈并提供PyTorch 2.0注意力优化、混合精度、学习率调度等加速方法，以及小数据下的效果提升策略。
玻璃Transformer：用11分钟训练窥探模型内部机制
Reddit开发者Rick分享“玻璃Transformer”项目：用Kaggle免费11分钟训练追踪token从输入到输出的流动，生成1000+页追踪数据，为Transformer替代架构的快速诊断提供低成本方案。
非对称循环Transformer：固定全局表示，迭代解码新范式
非对称循环Transformer（AsymLoop）将单遍上下文编码与循环状态细化分离，固定全局KV缓存，在1B规模下常识推理平均准确率从49.58%提升至50.85%，为循环语言模型提供新设计范式。
LLM如何生成一个词：从Token到KV Cache的完整链路
从token切分到transformer注意力，从Prefill/Decode两阶段到KV Cache成本，再到LLM为何没有记忆，一文讲清大模型生成一个词的完整链路与长上下文昂贵的根本原因。
从零推导Transformer：你也能凭记忆发明它
从RNN瓶颈到注意力机制，本文拆解Transformer的推导逻辑，说明为什么你可以凭记忆重新发明这一架构，并给出可复现的组件积木。
跨市场元学习：MetaGrid如何提升电价预测精度
MetaGrid通过跨市场元学习和拓扑感知Transformer，在五个美国ISO的电价预测基准上实现最低MAE，比最佳基线提升3.1%，比从头训练提升7.7%。
RoPE衰减曲线是噪声：取绝对值也无法修复
RoPE注意力衰减曲线其实是采样噪声，取绝对值也无法修复。本文解析旋转位置编码的相对性证明、相位退相干本质、LCG种子相关bug，以及NTK缩放为何无法作用于最快频率对，附226条验证断言与实测数据。
联邦学习+时序Transformer：车载CAN总线异常检测新框架
一篇arXiv新论文提出面向车载CAN总线的异常检测框架，结合时序Transformer编码器与联邦轻量级检测头，在保护数据隐私的同时实现高效、稳健的异常识别，为智能网联汽车网络安全提供新思路。
Softmax注意力如何学会决策阈值：一项理论动力学研究
解析arXiv最新研究：双参数softmax注意力模型如何通过梯度预训练学习决策阈值。文章深入剖析误差分解、协调参数发散机制及单头模型局限，为理解Transformer注意力的学习动力学提供理论视角。
AttSVD：用注意力引导的SVD压缩KV缓存，内存砍半不掉点
AttSVD提出基于注意力引导SVD的KV缓存低秩压缩方法，无需训练，沿特征轴压缩而非删除token，在LongBench等基准上仅用50%显存即可保持与完整缓存相当的精度，为长上下文大模型推理提供新思路。
Transformer、RNN、SSM：AI模型的记忆到底藏在哪里？
从「记忆住在哪里」这一全新视角，对比RNN的循环隐藏状态、Transformer的KV缓存与SSM/Mamba的选择性状态，并探讨BDH等以网络为中心的架构，剖析AI模型记忆与计算的根本权衡。
Yandex Sona：单个Transformer取代15+推荐组件的工程实践
Yandex Music推出Sona，用单个Transformer取代15+候选生成器、预排序与排序模型。A/B测试显示活跃用户+4.53%、收听时长+6.30%，并通过History Compression将长序列推理成本减半。
