OpenAI Five
OpenAI开发的Dota2游戏AI，基于强化学习在封闭环境中训练，是多智能体游戏AI的代表性成果
核心事实
时间轴 (近 90 天)
新加的防御塔输入使用零初始化权重接入（OpenAI Five的“手术”技巧），保证旧检查点在开始时行为完全不变。
训练超参数：每次更新跑一个PPO epoch，Adam学习率3e-4，折扣因子γ=0.9997（约7分钟视野，与OpenAI Five一致），胜利奖励±10。
PPO是OpenAI Five和ChatGPT的RLHF阶段等大型项目中的默认选择。
PPO是OpenAI Five（Dota 2 AI）和AlphaStar等大型游戏AI项目的底层算法选择之一
OpenAI的Gym、DeepMind的Atari挑战和宝可梦系列强化学习实验一直是强化学习领域的试验场
DeepMind 的 AlphaStar、OpenAI Five 等里程碑项目建立在游戏之上
OpenAI Five在2019年击败Dota 2世界冠军OG
OpenAI Five训练Dota 2 AI使用了256块GPU和12.8万个CPU核心，累计消耗了数百petaflop-days的算力
现代游戏AI研究里程碑包括2013年DeepMind的DQN在Atari游戏上展示深度强化学习、2016年AlphaGo击败围棋世界冠军、2019年OpenAI Five在Dota 2战胜职业队伍、2019年AlphaStar在星际争霸II达到大师级水平
OpenAI Five在Dota 2中累计了超过45000年的游戏经验
全部知识事实 (13)
深度强化学习融合后，AlphaGo击败人类围棋冠军和OpenAI Five成为其标志性应用
75%待验证OpenAI的Gym、DeepMind的Atari挑战和宝可梦系列强化学习实验一直是强化学习领域的试验场
60%待验证OpenAI Five用强化学习训练出能击败职业电竞选手的Dota 2 AI
60%待验证DeepMind的AlphaProof直接在Lean4环境中进行强化学习
60%待验证新加的防御塔输入使用零初始化权重接入（OpenAI Five的“手术”技巧），保证旧检查点在开始时行为完全不变。
50%待验证训练超参数：每次更新跑一个PPO epoch，Adam学习率3e-4，折扣因子γ=0.9997（约7分钟视野，与OpenAI Five一致），胜利奖励±10。
50%待验证PPO是OpenAI Five和ChatGPT的RLHF阶段等大型项目中的默认选择。
50%待验证PPO是OpenAI Five（Dota 2 AI）和AlphaStar等大型游戏AI项目的底层算法选择之一
50%待验证DeepMind 的 AlphaStar、OpenAI Five 等里程碑项目建立在游戏之上
50%待验证OpenAI Five训练Dota 2 AI使用了256块GPU和12.8万个CPU核心，累计消耗了数百petaflop-days的算力
50%待验证现代游戏AI研究里程碑包括2013年DeepMind的DQN在Atari游戏上展示深度强化学习、2016年AlphaGo击败围棋世界冠军、2019年OpenAI Five在Dota 2战胜职业队伍、2019年AlphaStar在星际争霸II达到大师级水平
50%待验证OpenAI Five在Dota 2中累计了超过45000年的游戏经验
50%待验证OpenAI Five在2019年击败Dota 2世界冠军OG
50%