RNN
循环神经网络（Recurrent Neural Network，RNN）是一类专为处理序列数据设计的深度学习模型。其核心特征是神经元之间存在循环连接，通过在时间步之间传递隐藏状态来捕捉序列的上下文依赖关系。广泛应用于自然语言处理、语音识别、时间序列预测等领域。基础RNN存在梯度消失和梯度爆炸问题，由此衍生出LSTM（长短期记忆网络）和GRU等改进变体，以更有效地建模长程依赖。
核心事实
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
时间轴 (近 90 天)
自注意力机制允许模型直接关注历史中任意时间步的相关信息，而不必像RNN那样逐步传递隐状态。
研究比较了决策树、随机森林、XGBoost、RNN、DNN和孪生神经网络在房颤检测中的表现
沿时间截断反向传播（BPTT）中序列越长，梯度在时间维度上的连乘越容易导致爆炸或消失，而独立窗口截断了这种长程依赖，反而提升了跨用户场景下的鲁棒性。
循环模型必须基于打乱且独立窗口的分段进行训练；如果按时间顺序输入流式窗口，网络会坍缩到只预测一个主导手势。
RNN存在长程依赖问题，序列变长时早期信息在反向传播中容易梯度消失。
Transformer架构取代了RNN的循环结构，大幅提升训练效率，是GPT、BERT等现代大语言模型的底层骨架。
Transformer每个块包含自注意力层和逐位置的前馈网络，两者外围都有残差连接和层归一化。
RNN的长距离依赖会衰减，早期信息传到后面已经所剩无几
SNACK使序列模型（如Transformer、RNN）无需复杂图神经网络编码器即可直接处理图生成任务。
经典实验表明普通RNN在间隔超过约10-20个词时几乎无法正确捕捉依赖关系。
还有 32 条时间轴事件
全部知识事实 (20)
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证Transformer的关键创新在于自注意力机制（Self-Attention），允许模型在处理一个token时同时关注输入序列中所有其他词的信息
90%已验证Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
85%已验证Transformer的核心创新是用自注意力机制替代RNN的时序处理方式，实现了高度并行化训练，但放弃了RNN的隐状态跨时间步传递机制
80%已验证自注意力机制能够捕捉序列中任意两个位置之间的依赖关系
80%已验证自注意力机制允许模型在处理每个词元时同时参考序列中所有其他词元的上下文信息，而非像RNN那样顺序处理
80%已验证Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
80%已验证RNN存在梯度消失/爆炸问题，梯度跨越大量时间步传递时会指数级衰减或膨胀，导致难以学习远距离依赖
75%已验证David Ha与Schmidhuber在2018年发表了论文《World Models》，展示了智能体如何在梦境中完成强化学习训练
75%已验证Transformer每层包含多头自注意力和前馈神经网络两个核心子模块
75%已验证Transformer通过自注意力机制实现了对长文本的高效建模
70%已验证RNN专为序列数据设计，通过隐藏状态在时间步之间传递信息
70%已验证Transformer架构于2017年提出，已在很大程度上取代了RNN在NLP领域的地位
70%已验证在Transformer出现之前，自然语言处理领域主要依赖RNN和LSTM来处理序列数据，这些架构必须按顺序逐词处理文本，无法并行计算
70%已验证在Transformer之前的RNN只能逐词顺序处理，Transformer可以并行处理整个序列从而大幅提升训练效率
65%已验证相比传统循环神经网络（RNN）处理长文本时容易遗忘前面内容，Transformer可以同时分析文本的多个部分
65%已验证深度学习时代基于CNN和RNN的端到端模型（如CRNN架构）大幅提升了OCR识别能力，近年Transformer架构也被引入OCR领域
65%已验证Set Transformer基于自注意力机制建模行向量交互，通过去掉位置编码保持排列不变性
65%已验证RNN因每个时间步输出依赖前一步隐藏状态而无法并行计算，无法发挥GPU并行优势
65%已验证LSTM通过引入遗忘门、输入门、输出门三个控制机制，解决了标准RNN在处理长序列时的梯度消失问题
65%