循环神经网络
一类通过隐藏状态递归更新处理序列数据的神经网络架构,擅长捕捉时间维度上的上下文依赖,广泛用于序列建模任务。
时间轴 (近 90 天)
循环神经网络(RNN)是一类专门处理序列数据的神经网络架构,其核心特征是隐藏层状态在时间步之间循环传递,使网络能够保留历史信息并建模时间依赖性。
在热条件时间序列预测框架中,晶粒尺寸分布通过卷积神经网络(CNN)进行编码,热描述符经由专门的多层感知机(MLP)嵌入,时间演化预测由循环网络完成。
该研究团队此前的工作已证明,在等温条件下,可利用循环神经网络(RNN)将晶粒尺寸分布当作时间序列进行预测,在数秒内生成完整的晶粒长大轨迹,而无需运行昂贵的偏微分方程(PDE)模拟。
连接丢失后,各无人机只能依赖自身历史观测维护局部地图,需要引入信念状态(belief state)或循环神经网络来估计未观测区域的状态,这与部分可观测马尔可夫决策过程(POMDP)的设定一致。
亚二次方循环替代方案(如RNN、SSM)的计算量随序列长度线性增长(O(n·d)),但状态容量有限可能损失长程检索质量。
循环压缩记忆是长上下文LLM中一种将历史信息压缩为固定大小循环状态(如循环神经网络隐状态或记忆矩阵)的机制,其内存占用不随上下文长度增长。
在动物交流研究中,常用机器学习方法包括无监督聚类、监督分类和序列建模(如隐马尔可夫模型或循环神经网络)。
在循环网络中,灾难性遗忘问题被放大:由于隐藏状态在时间上递归耦合,权重的微小改动可能通过多步传播被指数级放大。
在循环网络审计中,若令 H_t 为 t 时刻隐藏状态、X_t 为当前输入,则 I(H_t; X_t) 刻画瞬时成分,I(H_t; θ) 或 I(H_t; 训练分布) 刻画由权重携带的持久成分。
研究发现Transformer、状态空间模型和循环神经网络的输出几何对齐程度远高于激活几何
还有 3 条时间轴事件
全部知识事实 (13)
循环神经网络(RNN)是一类专门处理序列数据的神经网络架构,其核心特征是隐藏层状态在时间步之间循环传递,使网络能够保留历史信息并建模时间依赖性。
50%待验证在热条件时间序列预测框架中,晶粒尺寸分布通过卷积神经网络(CNN)进行编码,热描述符经由专门的多层感知机(MLP)嵌入,时间演化预测由循环网络完成。
50%待验证该研究团队此前的工作已证明,在等温条件下,可利用循环神经网络(RNN)将晶粒尺寸分布当作时间序列进行预测,在数秒内生成完整的晶粒长大轨迹,而无需运行昂贵的偏微分方程(PDE)模拟。
50%待验证连接丢失后,各无人机只能依赖自身历史观测维护局部地图,需要引入信念状态(belief state)或循环神经网络来估计未观测区域的状态,这与部分可观测马尔可夫决策过程(POMDP)的设定一致。
50%待验证亚二次方循环替代方案(如RNN、SSM)的计算量随序列长度线性增长(O(n·d)),但状态容量有限可能损失长程检索质量。
50%待验证循环压缩记忆是长上下文LLM中一种将历史信息压缩为固定大小循环状态(如循环神经网络隐状态或记忆矩阵)的机制,其内存占用不随上下文长度增长。
50%待验证在动物交流研究中,常用机器学习方法包括无监督聚类、监督分类和序列建模(如隐马尔可夫模型或循环神经网络)。
50%待验证在循环网络中,灾难性遗忘问题被放大:由于隐藏状态在时间上递归耦合,权重的微小改动可能通过多步传播被指数级放大。
50%待验证在循环网络审计中,若令 H_t 为 t 时刻隐藏状态、X_t 为当前输入,则 I(H_t; X_t) 刻画瞬时成分,I(H_t; θ) 或 I(H_t; 训练分布) 刻画由权重携带的持久成分。
50%待验证研究发现Transformer、状态空间模型和循环神经网络的输出几何对齐程度远高于激活几何
50%待验证在循环神经网络中,临界状态对应于雅可比矩阵最大奇异值(谱半径)趋近于1
50%待验证一个包含41.7万参数的循环神经网络能够从单一初始状态自主生成完整的6500帧Bad Apple视频
50%待验证经验回放将交互经验存入固定大小缓冲区并随机采样小批量训练,打破连续经验的时间相关性,使神经网络训练更稳定
50%