稀疏奖励
强化学习中的奖励设置，仅在任务终局给出成功或失败信号，中间过程无反馈。优点是编写成本低，缺点是信用分配困难、学习信号匮乏
核心事实
时间轴 (近 90 天)
稀疏奖励的常见缓解手段包括奖励塑形、好奇心驱动探索、hindsight experience replay（HER）等。
《抡大锤》是一个典型的稀疏奖励环境，因为只有高度变化才提供奖励信号，中间过程缺乏引导。
课程学习对稀疏奖励协作任务是必要的；辅助规则策略直接淡出不如分阶段替换稳健。
两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
研究提示从业者在选择分位数分辨率时需权衡计算成本与统计精度，尤其在奖励分布具有端点消失特性时，过高的分辨率可能不会带来预期收益。
在《超级马里奥》这类游戏中，智能体往往只在通关或死亡时获得稀疏奖励，中间步骤缺乏明确的正确动作标签，损失函数难以定义。
神经进化不依赖可微的损失函数，适合强化学习中的稀疏奖励场景。
基于时序差分的方法难以将稀疏的最终奖励归因到早期动作，导致学习信号极其微弱。
稀疏奖励的优点是编写成本低、不易被主观偏差污染；缺点是信用分配困难，难以确定漫长动作序列中哪一步导致失败。
稀疏奖励只在任务成功或失败时给出信号，在长时序、多阶段任务中会导致探索效率极低。
还有 4 条时间轴事件
全部知识事实 (15)
稀疏奖励场景下智能体往往需要借助课程学习、奖励塑形或基于内在动机的探索等技术才能有效收敛
75%已验证现实任务中的奖励往往极度稀疏且延迟，导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
75%已验证稀疏奖励是强化学习中最棘手的问题之一，智能体只有在完成特定目标时才获得奖励
65%待验证稀疏奖励的常见缓解手段包括奖励塑形、好奇心驱动探索、hindsight experience replay（HER）等。
50%待验证《抡大锤》是一个典型的稀疏奖励环境，因为只有高度变化才提供奖励信号，中间过程缺乏引导。
50%待验证课程学习对稀疏奖励协作任务是必要的；辅助规则策略直接淡出不如分阶段替换稳健。
50%待验证两个智能体无法同时从零训练，因为塔臂在助推器从未出现时没有可学习信号，助推器在塔臂从不闭合时也得不到捕获奖励。
50%待验证研究提示从业者在选择分位数分辨率时需权衡计算成本与统计精度，尤其在奖励分布具有端点消失特性时，过高的分辨率可能不会带来预期收益。
50%待验证在《超级马里奥》这类游戏中，智能体往往只在通关或死亡时获得稀疏奖励，中间步骤缺乏明确的正确动作标签，损失函数难以定义。
50%待验证神经进化不依赖可微的损失函数，适合强化学习中的稀疏奖励场景。
50%待验证基于时序差分的方法难以将稀疏的最终奖励归因到早期动作，导致学习信号极其微弱。
50%待验证稀疏奖励的优点是编写成本低、不易被主观偏差污染；缺点是信用分配困难，难以确定漫长动作序列中哪一步导致失败。
50%待验证稀疏奖励只在任务成功或失败时给出信号，在长时序、多阶段任务中会导致探索效率极低。
50%待验证过于细碎的中间奖励可能引导智能体只追求局部目标而忽视全局最优解
50%待验证长程规划和稀疏奖励是当前强化学习算法最难攻克的痛点之一
50%