AtomicRL
一种面向视觉-语言-动作（VLA）模型的强化学习后训练框架，利用原子任务结构实现细粒度信用分配和自适应探索，缓解长程机器人操作中的信用分配延迟偏差与子任务掌握不均衡问题。
时间轴 (近 90 天)
AtomicRL是一种利用原子任务结构实现可靠信用分配和自适应探索的强化学习后训练框架，用于提升视觉-语言-动作（VLA）模型在长程机器人操作中的性能。
AtomicRL的改进并非替换PPO本身，而是在其基础上引入语义感知门控和瓶颈自适应采样；3.6%–4.0%的绝对提升反映了结构性信用分配改进带来的增益，而非算法族的变化。
语义感知策略优化（SAPO）的核心是语义感知门控机制，该机制约束来自失败原子子任务的TD残差，阻止其跨任务边界传播。
瓶颈自适应目标探索（BATE）根据每个原子子任务的掌握程度，动态协调任务采样和局部探索激励；掌握较差的子任务会获得更多采样机会和探索奖励。
在LIBERO-LONG基准上，AtomicRL在两种VLA架构上分别比PPO取得3.6%和4.0%的绝对性能提升。
在CALVIN ABC-D上，AtomicRL的完整任务性能比PPO最高提升9.5%。
结合Real2Sim2Real流水线后，AtomicRL在真实世界任务性能平均提升21.3%。
AtomicRL的真实世界平均21.3%的提升依赖于Real2Sim2Real迁移流程的有效性，而仿真基准上的提升则主要来自SAPO和BATE对信用分配与探索的改进，两者贡献来源不同。
AtomicRL提供了不依赖大量专家演示、而是通过在线RL持续优化VLA策略的路径。
全部知识事实 (9)
AtomicRL是一种利用原子任务结构实现可靠信用分配和自适应探索的强化学习后训练框架，用于提升视觉-语言-动作（VLA）模型在长程机器人操作中的性能。
50%待验证AtomicRL的改进并非替换PPO本身，而是在其基础上引入语义感知门控和瓶颈自适应采样；3.6%–4.0%的绝对提升反映了结构性信用分配改进带来的增益，而非算法族的变化。
50%待验证语义感知策略优化（SAPO）的核心是语义感知门控机制，该机制约束来自失败原子子任务的TD残差，阻止其跨任务边界传播。
50%待验证瓶颈自适应目标探索（BATE）根据每个原子子任务的掌握程度，动态协调任务采样和局部探索激励；掌握较差的子任务会获得更多采样机会和探索奖励。
50%待验证在LIBERO-LONG基准上，AtomicRL在两种VLA架构上分别比PPO取得3.6%和4.0%的绝对性能提升。
50%待验证在CALVIN ABC-D上，AtomicRL的完整任务性能比PPO最高提升9.5%。
50%待验证结合Real2Sim2Real流水线后，AtomicRL在真实世界任务性能平均提升21.3%。
50%待验证AtomicRL的真实世界平均21.3%的提升依赖于Real2Sim2Real迁移流程的有效性，而仿真基准上的提升则主要来自SAPO和BATE对信用分配与探索的改进，两者贡献来源不同。
50%待验证AtomicRL提供了不依赖大量专家演示、而是通过在线RL持续优化VLA策略的路径。
50%