LSTM
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（RNN）架构，由Hochreiter与Schmidhuber于1997年提出。其核心设计引入输入门、遗忘门和输出门三种门控机制，通过细胞状态选择性地保留或遗忘信息，从而有效缓解传统RNN训练中的梯度消失与梯度爆炸问题，擅长捕捉长距离序列依赖关系，广泛应用于自然语言处理、语音识别和时间序列预测等领域。
时间轴 (近 90 天)
在Transformer出现之前，主流的序列建模方法是循环神经网络（RNN）及其变体LSTM和GRU
谷歌的神经机器翻译系统（GNMT）基于多层LSTM加注意力的架构，RNN类模型在2014-2016年间主导了机器翻译领域
相比RNN/LSTM架构，Transformer支持大规模并行计算
The self-attention mechanism allows the model to attend to information at all positions simultaneously, eliminating the sequential dependency limitations of RNNs/LSTMs
全部知识事实 (4)
The self-attention mechanism allows the model to attend to information at all positions simultaneously, eliminating the sequential dependency limitations of RNNs/LSTMs
95%待验证在Transformer出现之前，主流的序列建模方法是循环神经网络（RNN）及其变体LSTM和GRU
50%待验证谷歌的神经机器翻译系统（GNMT）基于多层LSTM加注意力的架构，RNN类模型在2014-2016年间主导了机器翻译领域
50%待验证相比RNN/LSTM架构，Transformer支持大规模并行计算
50%