#注意力机制
共 9 篇相关文章
ILRN：无注意力循环网络用逆延迟记忆对标Transformer
ILRN是一种无注意力的循环神经网络，核心机制为逆延迟记忆（ILRM），在96和256上下文长度下与Transformer对比取得更高准确率。本文解析其架构设计、实验结果与局限性。
稀疏注意力：长上下文LLM降本之道与遗漏之殇
稀疏注意力通过全到达、滑动窗口和学习型选择器降低长上下文LLM成本，但同一提示词在不同策略下形成不同证据集。本文分析三种方案的降本逻辑、跨段落推理遗漏风险及实践权衡建议。
18B激活仅0.045美元：GLM-5.3-Flash如何靠混合注意力击败Claude
Z.ai GLM-5.3-Flash以320B总参数、18B激活、每任务0.045美元的成本在AutomationBench上以48.8分击败Claude Opus 4.8。本文解析其稀疏加线性混合注意力架构、3倍注意力计算节省与4.4倍KV缓存缩减，以及它在视觉、开源权重和基准可靠性上的真实短板。
用量子玻恩规则替代Softmax注意力：一次大胆的架构实验
一位Reddit开发者用量子玻恩规则|⟨Q,K⟩|²替代了Transformer中的Softmax注意力机制，并成功完成训练。本文解析这一激进架构实验的技术逻辑、潜在价值与局限。
Softmax注意力如何学会决策阈值：一项理论动力学研究
解析arXiv最新研究：双参数softmax注意力模型如何通过梯度预训练学习决策阈值。文章深入剖析误差分解、协调参数发散机制及单头模型局限，为理解Transformer注意力的学习动力学提供理论视角。
MQA与GQA详解：KV Cache如何降低大模型推理显存
深入解析 MQA 与 GQA 两种大模型推理优化技术：KV Cache 如何膨胀、MQA 如何通过共享键值削减 75% 显存、GQA 如何用组数 G 在速度与质量间取得平衡，以及它为何成为 LLaMA、Mistral 等主流模型的默认选择。
从「大肥鱼面试」段子看大模型的能力边界
B站「大肥鱼给用户做面试」段子以拟人化AI「豆宝」的形式，调侃大模型答案不稳定、拟人化命名等特征，并通俗解释了Transformer核心的注意力机制。本文借梗解析大模型能力边界与AI娱乐化传播的两面性。
上下文投毒：长上下文模型为何被干扰信息拖垮
arXiv 论文提出"上下文投毒"概念，将长上下文语言模型的性能退化解释为注意力中的极值干扰，指出有效干扰项数量而非原始长度才是关键，并给出证据边际需按 √logN 增长的理论边界及多种缓解方案。
深度解读DeepSeek V4技术深度拆解：百万Token与极致性价比
深入解析DeepSeek V4核心技术架构，包括混合压缩注意力机制、流形约束超链接和MUON优化器三大创新，详解其如何将推理成本降低10倍，实现百万Token长上下文处理，以及MIT开源协议带来的生态价值。