RSIGame：让大模型自主开发游戏并递归自我进化

大语言模型和多模态模型近期的进展让AI智能体能够完成越来越复杂的现实任务，从软件工程到计算机操作自动化都已有落地场景。而自动游戏开发，正成为一个颇具潜力的新方向——它要求AI同时设计机制、编写代码、制作多模态资产，再把这些异构组件整合成一个可执行、可玩的项目。这篇名为《RSIGame: Autonomous Agentic Game Development With Recursive Self-Improvement》的论文，正是针对这一挑战提出了一套完整的自主游戏开发框架。

自动游戏开发的真正难点

现有的基准测试已经证明，基于视觉语言模型的智能体可以把自然语言需求转化为可玩的游戏，具备可识别的机制和视觉内容。但做出一个"能运行的初始版本"远不是终点。

游戏开发本质上是一个复杂的多模态工程过程，即便是成熟的人类团队，也经常遇到意外的bug、缺失的功能和被忽略的边缘案例。因此行业普遍采用迭代开发工作流：反复测试当前版本、收集反馈、修改项目，直到达到预期质量。这个过程本身就可以看作一种递归自我改进（Recursive Self-Improvement，RSI）。

问题在于，以往的递归自我改进方法很容易收敛到"脆弱的解决方案"——看起来大致满足目标，实际上留下了大量未测试的bug、缺失的行为和未解决的边缘案例。开发循环过度拟合了一小部分测试用例，并没有从整体上提升游戏质量，一旦面对更广泛的玩家交互，表现就会急剧下降。

递归自我改进（Recursive Self-Improvement，RSI）在AI领域泛指系统通过自身输出来迭代提升自身能力的过程。在代码/软件生成场景中，RSI通常表现为：生成初稿→运行测试→根据失败信息修改→再次测试，循环往复。这一范式的吸引力在于无需额外人工标注，系统可以用执行反馈替代人类判断。然而「过拟合少量测试用例」是RSI在代码生成领域的已知痛点：当测试集较小或覆盖不全时，模型会学会「让这几个测试通过」而非「真正解决问题」，导致在更广泛场景下仍然脆弱。游戏开发尤其容易暴露这一缺陷，因为玩家的交互空间远大于任何有限测试集所能覆盖的范围。

RSIGame的核心架构：局部循环与全局循环

论文作者的思路是强化测试阶段的能力，广泛探索剩余的故障和潜在改进点，目标是"开发出高质量的游戏，而不只是一个能玩的版本"。为此，RSIGame把开发组织成互补的局部循环和全局循环。

局部循环：探索—诊断—改进

局部循环通过三个阶段进行细粒度的递归改进。自主探索阶段由两个互补智能体协作：控制器负责决定接下来该探索游戏的哪个方面，探索器则与可执行游戏实际交互、收集行为证据，发现具体的bug、缺失行为和改进机会。

问题诊断与改进阶段同样是双智能体结构：编辑器把发现的问题转化为具体的修改方案并应用，验证器则与更新后的项目交互，判断目标问题是否解决、是否引入了回归副作用。

贯穿整个过程的是一份不断演化的开发检查清单。它记录发现的问题、改进机会、优先级和验证结果，让所有智能体基于一致的开发状态协同工作。控制器读取清单决定方向，探索器用新证据扩充清单，编辑器处理高优先级条目，验证器更新条目状态。这样每一轮迭代都建立在经过验证的进展之上，而不是从头开始。

全局循环：质量监控与收敛控制

如果说局部循环关注单轮内的改进，全局循环则负责跨阶段的整体管控。游戏质量监控器跟踪累积质量、保留最佳检查点；收敛控制机制则决定开发应该继续、终止，还是在额外高层指导下进入新阶段。

与只评估单次编辑的局部验证器不同，质量监控器从整体上评估游戏的累积质量，并且与基准评估器完全隔离，不接触评分标准和反馈，以确保公正。当连续的全局评估都没有产生更好的检查点时，系统就把持续缺乏进展视为收敛，要么返回已保留的最佳版本，要么从人类或更强模型引入战略性的高层指导（而非具体编辑指令）。

从免训练到经验内化

除了免训练的自我改进，RSIGame还引入了基于训练的"经验内化"：把成功的开发轨迹、诊断决策和经过验证的修订转化为生成器的监督数据，从而提升底层生成器的能力。

作者收集了三类监督数据——GPT 5.5 构建游戏的生成轨迹、成功生成的规划轨迹，以及运行RSIGame产生的改进轨迹。他们只保留可执行、且经过交互验证未破坏既有功能的内容，最终从4003个候选中获得2213条生成轨迹、2108条规划轨迹和2013轮验证改进数据，用于对Qwen3-8B-27B进行监督微调。

这一步让自我改进从"上下文优化"扩展到了"参数优化"，实现更强的初始生成，减少达到高质量所需的细化迭代次数，也为持续RSI打开了大门——新积累的经验可以被反复内化。

监督微调（Supervised Fine-Tuning，SFT）是将预训练大模型适配到特定任务的标准方法：收集高质量的「输入-输出」样本对，以交叉熵损失直接优化模型在这些样本上的预测概率。与强化学习相比，SFT不需要设计奖励函数，训练稳定且计算成本相对可控。在本文语境中，「经验内化」就是把RSIGame运行时积累的成功轨迹当作SFT数据，从而让模型在参数层面记住「如何做出好游戏」——不只是靠推理时的上下文提示，而是把这些知识固化进权重。Qwen3-8B/27B是阿里巴巴开源的多规格语言模型系列，作者选择它作为微调基座，是因为开源模型便于实施参数更新，商业API（如GPT系列）则通常不开放微调接口。

实验结果：跨引擎、跨生成器的一致提升

实验在GameCraft Bench上进行，该基准包含140个游戏开发任务、覆盖15个游戏系列，并在Godot和Phaser两个引擎上实现相同任务。评估回放游戏演示轨迹，根据隐藏评分标准从机制、深度、视觉、美术四个维度打分。

在Godot引擎上，RSIGame在全部五种生成器设置下，整体得分比冻结初始游戏提升了10.7到20.3分，且覆盖所有维度。在相同计算预算下，它比对比方法Play2Code高出7.2到13.8分——作者强调收益来自"开发的组织方式"，而非迭代本身。

经验内化带来的提升尤为亮眼：微调把Qwen3-8B-27B的一次性得分从37.07提升到48.22，与Codex+GPT 5.5的差距缩小到2分以内，同时生成Token减少了11倍（从641万降到57万）。叠加RSIGame后得分进一步升至61.38，超过了Codex+GPT 5.5一次性生成的50.26，总Token使用量还减少了2.6倍。在Phaser引擎上，三个生成器的整体得分也比基础提升8.8到13.4分，验证了方法的跨引擎鲁棒性。

GameCraft Bench是专为自动游戏开发设计的评测基准，要求智能体根据自然语言描述在真实游戏引擎中生成可执行项目。Godot是一款开源、跨平台的游戏引擎，以GDScript脚本和场景树结构为核心，广泛用于2D/3D独立游戏开发；Phaser则是基于JavaScript/TypeScript的2D网页游戏框架，运行在浏览器端。两个引擎在语言范式、资产组织和运行时环境上差异显著，因此同时在两者上验证能有效证明方法的泛化性，而非对某一引擎的特定适配。评估采用回放演示轨迹而非实时交互，是为了保证可复现性和公平比较——固定的输入轨迹消除了随机玩家行为带来的方差。

关键发现：为什么它能持续进步

进一步分析揭示了几个有价值的结论。首先，单纯扩展预算并不能保证更好的游戏——Play2Code很快进入平台期甚至退化，而RSIGame能持续把更多开发轮次转化为更高质量。全局质量监控器通过保留最佳状态，防止后期编辑擦除前期增益，并通过饱和感知停止机制用更少轮次达到相当的质量。

其次，自适应演化优于固定调度。根据当前游戏状态重新分配精力（构建失败后转向视觉，视觉落后时增加美术轮次）在成对评估中获得59%的偏好，固定轮循调度仅37%。

第三，智能体验证至关重要。证据驱动的改进前验证把精度从58.6%提升到72.3%，每轮无支持的目标从1.93个降到0.50个；基于回放的验证能检测到76.2%的不成功改进，而仅做构建检查完全检测不到这些行为故障。此外，结合规划与验证改进经验的迁移，在机制和深度维度分别带来14.9和14.1分的提升，说明这些轨迹提供了超越单纯模仿成功游戏的可复用知识。

超越游戏：一种可迁移的生成范式

RSIGame解决了以往递归自我改进在游戏开发中"过拟合少量测试、整体质量不足"的核心问题。它的价值不在于引入迭代本身，而在于如何在长期范围内可靠地维持迭代——用局部的证据驱动改进配合全局的最佳检查点跟踪与饱和检测，再用经验内化形成正向循环。

这种"迭代开发 + 全局管控 + 经验内化"的思路，平衡了推理时的迭代优化与训练时的能力提升：既解决了单次生成质量不足，又避免了盲目迭代带来的低效和退化。对于复杂软件开发、工业设计等需要高可靠性、高质量的生成场景，RSIGame提供了一个很有参考价值的范式——不再追求一次生成完美结果，而是通过探索、诊断、改进逐步逼近高质量。