经验回放
深度强化学习中的核心技术，由DeepMind在2013年DQN论文中引入，将Agent与环境交互产生的状态-动作-奖励-下一状态四元组存入回放缓冲区，训练时随机采样以打破时序相关性、提升样本利用效率。
核心事实
时间轴 (近 90 天)
经验回放在持续学习中通常分为两种实现：rehearsal（维护旧任务样本缓冲区，训练新任务时混入旧样本）和pseudo-rehearsal（用生成模型合成旧数据）。
深度强化学习需要经验回放、目标网络等稳定化技巧来应对函数逼近带来的不稳定和发散风险。
经验回放、对手建模或策略正则化等方法往往假设非平稳性是有界的或可预测的。
无损记忆方案在存储成本与信息保真度之间做出了偏向保真度的权衡
经验回放将交互经验存入固定大小缓冲区并随机采样小批量训练，打破连续经验的时间相关性，使神经网络训练更稳定
经验回放最早在DeepMind的DQN算法中被提出，智能体将过去的交互经验存储在缓冲区中，训练时随机采样以提高样本利用效率
缓解灾难性遗忘的解决方案包括弹性权重巩固（EWC）、渐进式网络扩展和经验回放，但尚无方法能完美解决所有问题
全部知识事实 (10)
缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）
75%已验证DQN引入了经验回放和目标网络两项关键创新，前者打破时序数据强相关性使训练稳定，后者避免训练震荡与发散
75%已验证DeepMind在2013年发表论文展示了能自学玩Atari游戏的系统
65%待验证缓解灾难性遗忘的解决方案包括弹性权重巩固（EWC）、渐进式网络扩展和经验回放，但尚无方法能完美解决所有问题
70%待验证经验回放在持续学习中通常分为两种实现：rehearsal（维护旧任务样本缓冲区，训练新任务时混入旧样本）和pseudo-rehearsal（用生成模型合成旧数据）。
50%待验证深度强化学习需要经验回放、目标网络等稳定化技巧来应对函数逼近带来的不稳定和发散风险。
50%待验证经验回放、对手建模或策略正则化等方法往往假设非平稳性是有界的或可预测的。
50%待验证无损记忆方案在存储成本与信息保真度之间做出了偏向保真度的权衡
50%待验证经验回放将交互经验存入固定大小缓冲区并随机采样小批量训练，打破连续经验的时间相关性，使神经网络训练更稳定
50%待验证经验回放最早在DeepMind的DQN算法中被提出，智能体将过去的交互经验存储在缓冲区中，训练时随机采样以提高样本利用效率
50%