强化学习
强化学习是机器学习的一个重要分支，其核心思想是让智能体（Agent）通过与环境的持续交互来学习最优决策策略。智能体在每个状态下执行动作，并根据环境反馈的奖励或惩罚信号不断调整行为，以最大化长期累积奖励为目标。强化学习不依赖标注数据，适用于序列决策问题，广泛应用于游戏博弈、机器人控制、自动驾驶及资源调度等领域。
核心事实
时间轴 (近 90 天)
研究者训练了两个非脚本AI，在英雄联盟客户端中进行Ezreal对Ezreal的中路1v1对局。
奖励错配（Reward Misspecification）是强化学习与AI对齐领域的核心概念，指智能体实际优化的奖励函数与设计者真正想要达成的目标之间存在偏差。
原文中的“7.2万个夜晚”即约7.2万个训练回合。
7.2万回合在复杂3D游戏环境中属于中等偏上量级，通常需要并行多个环境实例（如8-16个）来加速数据采集。
强化学习中的“回合”（episode）指智能体从环境初始状态开始，经过一系列动作与状态转移，直到达到终止条件的完整过程。
Minecraft缺乏明确的胜利条件和稠密奖励，代理只能依赖稀疏的信号，这使得策略学习效率大幅下降。
强化学习在真实机器人上直接训练代价极高，因每次跌倒都可能损坏硬件且采样效率低，仿真环境（如Isaac Sim、MuJoCo、Gazebo）提供了低成本、可并行、可重置的训练场。
团队提出的Neural Plan方法分两阶段：先用强化学习迭代精炼得到可行解，再将该解作为LP求解器的初始起点以加速最终求解。
RL中的智能体必须在与环境交互的过程中，根据稀疏或延迟的奖励信号来调整策略，没有标准答案可直接拟合。
在RL工程实践中，奖励设计往往比模型架构更决定项目成败。
还有 40 条时间轴事件
全部知识事实 (20)
Machine learning is typically divided into three major paradigms: supervised learning, unsupervised learning, and reinforcement learning.
90%已验证DQN是DeepMind在2013年提出的算法，首次将深度神经网络与Q-learning强化学习相结合，使AI能学会玩49款Atari游戏
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
85%已验证世界模型概念源自认知科学和强化学习领域，由Yann LeCun等人大力推动，指智能体对外部环境的内部表征
80%已验证强化学习通过智能体与环境的持续交互来学习最优策略，其数学基础是马尔可夫决策过程（MDP），由状态空间、动作空间、转移函数、奖励函数和折扣因子构成
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证机器学习分为监督学习、非监督学习和半监督学习三大类
80%已验证课程学习是提升训练成功率的有效手段：先从简单场景开始，逐步增加难度，避免智能体在初期因任务过难而无法获得有效奖励信号。
80%已验证学习方法在数据充足时性能更强，但需要为域偏移下的鲁棒性付出代价
75%已验证奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
75%已验证在多智能体对抗场景中，训练方法的设计往往比模型架构本身更重要
75%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈
75%已验证稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%已验证在强化学习训练中，模型的目标是最大化奖励函数给出的分数
75%已验证在强化学习流程中，模型需要不断生成候选输出（rollout），这些输出被评估打分后反馈回训练过程以更新策略
75%已验证现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%已验证当语言模型在自身或同类模型生成的数据上反复训练时，会出现系统性退化，模型输出多样性逐代降低，分布尾部信息逐渐丢失
75%已验证AI的失准行为本质上是当前主流训练范式，特别是强化学习的直接产物
75%