DQN
DeepMind于2013年提出的深度强化学习算法，首次将深度神经网络与Q-learning结合，引入经验回放机制
核心事实
时间轴 (近 90 天)
PPO相比DQN等值函数方法直接优化策略，更适合连续或高维动作空间；相比TRPO实现更简单、计算更轻量。
DQN的核心创新包括经验回放和目标网络。
DQN以Atari 2600游戏作为主要测试平台。
DQN等基于值函数的方法通过估计每个状态-动作对的Q值来间接推导策略，通常需要维护经验回放池和目标网络来稳定训练。
吃豆人是DQN测试的49款Atari游戏之一，但DQN在吃豆人上的表现相对欠佳
DQN系统仅凭原始像素输入就能在49款Atari游戏中达到甚至超越人类水平
DQN（Deep Q-Network）是基于值函数的方法，通过神经网络估计每个状态-动作对的长期价值
自发现规则相对于DQN的适应优势可能仅来自数据新鲜度管理的默认配置差异，而非内部进化出更强的可塑性机制
在环境发生变化时，控制回放保留会逆转自发现规则相对于DQN的表观适应优势
对于DQN这类off-policy算法，最稳妥的架构是多个Worker只采集数据写入共享回放池，learner保持单一实例从buffer采样更新
还有 20 条时间轴事件
全部知识事实 (20)
DQN是DeepMind在2013年提出的算法，首次将深度神经网络与Q-learning强化学习相结合，使AI能学会玩49款Atari游戏
90%已验证DQN由DeepMind于2013年提出，首次将深度神经网络与Q-learning结合
80%已验证Stable-Baselines3 基于 PyTorch 重构，提供工业级的 PPO、DQN、SAC 等算法实现
75%已验证DQN引入了经验回放和目标网络两项关键创新，前者打破时序数据强相关性使训练稳定，后者避免训练震荡与发散
75%已验证DQN的核心创新在于将深度学习的感知能力与Q-learning的决策框架相结合，并引入了经验回放和目标网络两项关键技术来稳定训练过程
65%已验证DeepMind在2013年发表论文展示了能自学玩Atari游戏的系统
65%待验证现代深度强化学习（如 DQN、PPO、SAC）可视为值迭代和策略迭代等经典方法在连续高维空间中的函数逼近推广
60%待验证DeepMind发布的DQN于2015年登上《Nature》封面，首次展示单一架构在多款Atari游戏中超越人类水平
60%待验证PPO相比DQN等值函数方法直接优化策略，更适合连续或高维动作空间；相比TRPO实现更简单、计算更轻量。
50%待验证DQN的核心创新包括经验回放和目标网络。
50%待验证DQN以Atari 2600游戏作为主要测试平台。
50%待验证DQN等基于值函数的方法通过估计每个状态-动作对的Q值来间接推导策略，通常需要维护经验回放池和目标网络来稳定训练。
50%待验证DQN系统仅凭原始像素输入就能在49款Atari游戏中达到甚至超越人类水平
50%待验证吃豆人是DQN测试的49款Atari游戏之一，但DQN在吃豆人上的表现相对欠佳
50%待验证DQN（Deep Q-Network）是基于值函数的方法，通过神经网络估计每个状态-动作对的长期价值
50%待验证自发现规则相对于DQN的适应优势可能仅来自数据新鲜度管理的默认配置差异，而非内部进化出更强的可塑性机制
50%待验证在环境发生变化时，控制回放保留会逆转自发现规则相对于DQN的表观适应优势
50%待验证Replay Ratio（UTD）是指每采集一步环境数据，Learner执行梯度更新的次数，标准DQN通常为1或更低
50%待验证在CPU上单环境训练小型DQN时，吞吐量约为400步/秒，增加线程数无法改善
50%待验证对于DQN这类off-policy算法，最稳妥的架构是多个Worker只采集数据写入共享回放池，learner保持单一实例从buffer采样更新
50%