强化学习
强化学习是机器学习的一个重要分支，其核心思想是让智能体（Agent）通过与环境的持续交互来学习最优决策策略。智能体在每个状态下执行动作，并根据环境反馈的奖励或惩罚信号不断调整行为，以最大化长期累积奖励为目标。强化学习不依赖标注数据，适用于序列决策问题，广泛应用于游戏博弈、机器人控制、自动驾驶及资源调度等领域。
核心事实
时间轴 (近 90 天)
此前基于强化学习的迭代自我改进方法大多只在单任务场景下探索，目标仅为提升某个狭窄的部署任务。
与直接采用监督微调（SFT）后接强化学习的方法相比，评分规则引导的方法表现更优。
LegalEvolver将每次采样（rollout）的经验总结为评分规则（rubrics），并用这些规则指导多轮迭代的自进化过程；模型会不断优化评分规则，并用优化后的规则引导强化学习（RL）。
传统强化学习和模仿学习通常将交互目的隐式编码在奖励函数或演示轨迹中，智能体不显式表达每一步动作是为了获取什么证据。
Axion 1.0 的训练配方只有三个阶段：两个轻量级 SFT 阶段和一个强化学习阶段。
强化学习阶段旨在进一步强化长程推理能力，以及模型与外部工具和环境的交互能力。
PolicyIK 的价值在于展示了强化学习可以成为高精度 IK 的一条可行路径，绕开了数值求解的奇异点难题并降低了对人工调参控制器的依赖。
PolicyIK 是一个目标条件（goal-conditioned）的强化学习策略，从位姿反馈中更新关节位置参考值，并观察累积参考值与实测关节位置之间的相对关系。
LLM能力源于在可验证奖励上的强化学习，而环境混合由收入潜力驱动。
论文提出了RL与PID交汇点的分类学，包含四类架构：RL作为增益整定器、RL作为调节控制器的直接替代、RL与MPC的混合、RL作为监督层生成设定点和调度。
还有 40 条时间轴事件
全部知识事实 (20)
Machine learning is typically divided into three major paradigms: supervised learning, unsupervised learning, and reinforcement learning.
90%已验证DQN是DeepMind在2013年提出的算法，首次将深度神经网络与Q-learning强化学习相结合，使AI能学会玩49款Atari游戏
90%已验证大语言模型的预训练过程需要数千块高端GPU并行运算数月，耗资通常在数千万到数亿美元之间
90%已验证奖励函数设计不当会导致奖励欺骗（Reward Hacking）现象，即智能体找到在奖励函数上得分高但实际无意义甚至有害的行为路径
85%已验证世界模型概念源自认知科学和强化学习领域，由Yann LeCun等人大力推动，指智能体对外部环境的内部表征
80%已验证强化学习通过智能体与环境的持续交互来学习最优策略，其数学基础是马尔可夫决策过程（MDP），由状态空间、动作空间、转移函数、奖励函数和折扣因子构成
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证机器学习分为监督学习、非监督学习和半监督学习三大类
80%已验证课程学习是提升训练成功率的有效手段：先从简单场景开始，逐步增加难度，避免智能体在初期因任务过难而无法获得有效奖励信号。
80%已验证学习方法在数据充足时性能更强，但需要为域偏移下的鲁棒性付出代价
75%已验证奖励塑形是指在原始稀疏奖励之外加入额外的、更密集的引导性奖励信号，帮助智能体更快更正确地学习
75%已验证在多智能体对抗场景中，训练方法的设计往往比模型架构本身更重要
75%已验证离策略强化学习复用旧策略生成的样本，带来效率优势但引入分布偏移与梯度估计的高方差问题
75%已验证RL阶段每一步训练需要同时运行推理（生成rollout）和反向传播（更新权重），因此算力需求远高于普通微调
75%已验证GPU全栈范式将环境状态、动力学仿真、策略网络前向传播及梯度计算全部留在显存中完成，消除CPU与GPU的数据传输瓶颈
75%已验证稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%已验证在强化学习训练中，模型的目标是最大化奖励函数给出的分数
75%已验证在强化学习流程中，模型需要不断生成候选输出（rollout），这些输出被评估打分后反馈回训练过程以更新策略
75%已验证现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%已验证赫布学习和竞争学习的共同局限在于缺乏明确的优化目标，难以针对下游任务进行端到端调优，通常用于特征提取和表示学习
75%