强化学习通关《抡大锤》：63%进度背后的分布式训练策略

Reddit上一位开发者正在用深度强化学习（DRL）挑战《Getting Over It with Bennett Foddy》（俗称“抡大锤”）这款以高难度著称的游戏。目前，他的智能体已经从底部攀爬至63%的进度，但在铁砧（anvil）部分卡住了。项目开源在GitHub和Hugging Face上，并公开寻求社区帮助。这不仅是游戏AI的趣味尝试，更折射出DRL在稀疏奖励、长程规划任务中的典型困境与工程解法。

项目现状：63%的里程碑与铁砧瓶颈

根据开发者miwate在Reddit的分享，当前智能体在没有检查点（checkpoint）的情况下，从游戏底部到达63%的高度。游戏被切割成多个部分，每个部分训练一个“专家模型”（specialist model），这种分而治之的策略旨在降低长程任务的训练难度。然而，铁砧部分成为新的拦路虎——该区域需要精确的物理交互和连续决策，对探索效率和奖励设计提出了更高要求。

开发者坦言，训练目前完全在CPU上进行，因为在他的测试中，GPU并未带来加速。这或许与游戏环境本身的计算特性有关：物理模拟和状态更新可能成为瓶颈，而非神经网络的前向/反向传播。

专家模型（Specialist Model） 在强化学习中指针对特定子任务或环境局部区域单独训练的模型，与尝试用单一模型解决全部任务的“通才模型”相对。分治训练通过降低每个专家所需覆盖的状态空间和动作空间，简化学习问题，常被用于长程、稀疏奖励任务。然而，专家模型组合面临衔接问题：各专家在边界处的策略可能不连续，需要设计切换机制或联合微调。此外，无检查点（checkpoint）意味着智能体必须从起点连续执行到终点，任何中途失误都会导致前功尽弃，这对专家模型的鲁棒性和泛化能力提出更高要求。

技术拆解：分治训练与CPU选择

将游戏切分为多个部分并分别训练专家模型，是一种应对稀疏奖励的常见思路。每个专家只需专注于局部目标，降低了学习难度。但这也带来新问题：如何保证专家模型之间的衔接？开发者没有透露细节，但从“无检查点”的表述看，智能体需要一次性连续通过多个区域，这对模型的鲁棒性是巨大考验。

关于CPU训练，开发者提到“使用GPU并没有让训练更快”。这可能是因为环境步进（environment stepping）占用了大量时间，而神经网络规模较小，GPU的并行优势无法充分发挥。对于个人研究者而言，这其实是个好消息——无需昂贵硬件也能开展DRL实验。

稀疏奖励（Sparse Reward） 是强化学习中的经典难题：智能体在绝大多数时间步上获得的奖励为零或极小，只有达成特定目标（如到达新高度）时才有反馈。这导致信用分配困难——智能体难以判断哪些动作序列对最终奖励有贡献，探索效率极低。《抡大锤》正是典型稀疏奖励环境，因为只有高度变化才提供奖励信号，中间过程缺乏引导。常见缓解手段包括奖励塑形（reward shaping）、好奇心驱动探索（curiosity-driven exploration）、 hindsight experience replay（HER）等，但均需针对任务精心设计。

环境步进（Environment Stepping） 指强化学习训练循环中执行动作、推进物理模拟、更新状态并计算奖励的过程。在基于物理的游戏环境中，步进往往涉及复杂碰撞检测和刚体动力学计算，单步耗时可能远超神经网络的前向/反向传播。当环境步进成为瓶颈时，GPU的并行计算优势难以发挥，因为训练速度受限于CPU端的模拟速度。这也是开发者观察到GPU未加速的根本原因之一，尤其当神经网络规模较小时，计算图本身在GPU上的开销可能反而不如CPU。

社区协作：开源与PR邀请

项目代码已公开在GitHub（miwate/getting-over-it-rl），模型托管在Hugging Face（miiwater/goi-rl）。开发者正在编写CONTRIBUTING.md，并明确表示欢迎“初学者代码和vibe coded PRs”，承诺会花时间审查。这种开放态度降低了贡献门槛，也暗示项目仍处于早期阶段，需要更多人手解决计算资源、微调和代码优化问题。

在Reddit帖子中，开发者直接呼吁“寻求在线计算帮助、微调和PR”。对于有兴趣的RL爱好者，这是一个参与真实项目的机会——无论是提供算力、改进奖励函数，还是优化训练流程，都可能推动智能体越过铁砧。

为什么这个项目值得关注

《抡大锤》以其刁钻的物理引擎和挫败感著称，对人类玩家尚且困难，对AI更是挑战。它要求智能体在连续动作空间中做出精确控制，并且奖励极其稀疏（只有到达新高度才有反馈）。这个项目因此成为检验DRL算法鲁棒性的试金石。如果成功，其分治训练、专家模型组合的思路或许能迁移到其他长程决策任务中。

目前63%的进度已经证明了方法的可行性，但铁砧部分的停滞也暴露了局限。社区能否帮助突破？我们拭目以待。

（注：本文基于Reddit帖子及公开仓库信息，未包含游戏截图。）