LSTM
长短期记忆网络（Long Short-Term Memory，LSTM）是一种特殊的循环神经网络（RNN）架构，由Hochreiter与Schmidhuber于1997年提出。其核心设计引入输入门、遗忘门和输出门三种门控机制，通过细胞状态选择性地保留或遗忘信息，从而有效缓解传统RNN训练中的梯度消失与梯度爆炸问题，擅长捕捉长距离序列依赖关系，广泛应用于自然语言处理、语音识别和时间序列预测等领域。
核心事实
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
时间轴 (近 90 天)
在调度瞬间，RT-LSTM相对LSTM的误差降低达到12.5%。
与现有基线模型相比，RT-LSTM的MAE分别降低4.3%（对比LSTM）、11.6%（对比StarNet）和22.1%（对比基于注意力的时空模型ASTM）。
RT-LSTM采用双LSTM结构：历史LSTM编码历史RTT观测值以及实时的服务卫星和网关相对特征；未来LSTM处理基于TLE传播得到的、已识别服务卫星到下一调度时刻的未来特征。
预测性维护常用的模型包括孤立森林、自编码器、LSTM及梯度提升树等。
LSTM通过遗忘门、输入门和输出门三个门控机制，选择性地保留或丢弃历史信息，缓解梯度消失带来的长距离遗忘问题
LSTM和GRU都保留了按时间步依次计算的结构，因此无法实现并行化
GRU是LSTM的简化版本，把三个门合并为更新门和重置门两个门，参数更少、训练更快，在许多任务上效果接近LSTM
网络结构上CNN处理21x21的局部观察窗口，LSTM跨步骤携带记忆，CNN之上叠加SelfAttention、MemoryCrossAttention和FiLM三个注意力模块。
工作负载预测的技术基础通常包括时间序列分析和机器学习模型（如LSTM、Transformer等），能提前数分钟到数小时预测未来负载变化
在原型阶段选择岭回归等简单模型优于LSTM、XGBoost等复杂模型，因为可解释性和训练稳定性更重要，且小规模合成数据集下复杂模型容易过拟合
还有 37 条时间轴事件
全部知识事实 (20)
The Transformer's core innovation is the self-attention mechanism, which allows models to attend to all positions in the input simultaneously rather than processing step-by-step like RNNs or LSTMs
90%已验证Transformer通过自注意力机制让模型处理每个token时能动态关注序列中所有其他token，并实现完全并行化训练
85%已验证Transformer的自注意力机制允许模型直接计算序列中任意两个位置之间的依赖关系，突破了RNN/LSTM因顺序计算导致的并行化瓶颈
80%已验证Transformer架构完全抛弃了循环结构，仅依靠注意力机制处理序列关系，解决了RNN和LSTM存在的梯度消失和无法并行计算的固有缺陷
80%已验证在Transformer出现之前，自然语言处理领域主要依赖RNN和LSTM来处理序列数据，这些架构必须按顺序逐词处理文本，无法并行计算
70%已验证在Transformer之前的RNN只能逐词顺序处理，Transformer可以并行处理整个序列从而大幅提升训练效率
65%已验证LSTM通过引入遗忘门、输入门、输出门三个控制机制，解决了标准RNN在处理长序列时的梯度消失问题
65%待验证GNMT系统采用8层LSTM编码器和8层LSTM解码器，并引入了残差连接和注意力机制
90%待验证Qlib内置了多种机器学习模型（如LightGBM、LSTM、Transformer等）用于股票预测，并支持自定义因子和策略开发
85%待验证现代病虫害预警模型常用的建模方法包括时间序列分析、随机森林、LSTM神经网络
85%待验证Databox的AI能力使用异常检测（如Isolation Forest、LSTM神经网络）和时序预测技术来主动发现数据中的模式和异常
70%部分验证The self-attention mechanism allows the model to attend to information at all positions simultaneously, eliminating the sequential dependency limitations of RNNs/LSTMs
65%待验证LSTM通过引入遗忘门、输入门和输出门三个门控机制解决长程依赖问题
60%待验证相比RNN和LSTM在长文本中会遗忘前面内容，Transformer所有位置计算可并行执行，训练效率远超RNN和LSTM
60%待验证谷歌的神经机器翻译系统（GNMT）基于多层LSTM加注意力的架构，RNN类模型在2014-2016年间主导了机器翻译领域
60%待验证GRU（门控循环单元）由Cho等人于2014年提出，通过更新门和重置门两个门控机制控制信息流动，相比LSTM参数更少、训练更快
60%待验证Tesseract从4.0版本开始引入基于LSTM的识别引擎，5.x版本支持马拉地语（mar语言包）
60%待验证LSTM由Hochreiter与Schmidhuber于1997年提出，其门控机制解决了标准RNN的梯度消失问题
60%待验证传统RNN存在梯度消失问题，实践中更常用LSTM和GRU来解决
60%待验证RT-LSTM采用双LSTM结构：历史LSTM编码历史RTT观测值以及实时的服务卫星和网关相对特征；未来LSTM处理基于TLE传播得到的、已识别服务卫星到下一调度时刻的未来特征。
50%