一个仓库两种循环：哪个才是真正的RL？

自我改进智能体的争论：这到底是不是RL？

每当有人发布关于「自我改进智能体」（self-improving agent）的帖子，评论区总会出现一句反驳：「这不是强化学习，这只是提示词调优。」而且有一半的时候，这个反驳是对的。

问题的核心在于，很多项目把「搜索配置」和「真正的参数训练」混为一谈。reef 这个代码库恰好把两种循环放在了同一套代码里，这给了我们一个清晰的机会来划清界线：到底哪一种循环动了模型的权重，哪一种只是在玩文字游戏。

Harness 循环：不训练任何东西的那一半

第一种循环被称为 harness loop（框架循环）。它的特点非常明确：只需要一个模型 endpoint，不需要任何 GPU。

它的几套方案——Reefine、SkillClaw、GEPA、Meta-Harness——工作方式是提出一个对 harness 自身文件的修改，然后把修改后的代码树放到一个任务列表上，与当前版本进行评分对比。是否保留这次修改，取决于一个选择策略（selection policy），默认规则是「净胜」（net win）才保留。

关键点在于：模型参数里没有任何东西发生移动。 用作者的话说，这更应该被称为「带验证器的配置搜索」（search over configurations with a verifier）。如果有人把它叫作 RL，那评论区那句「这不是 RL」的反驳就是完全正确的，而且活该被怼。

这其实是一个很有价值的提醒。当下大量 AI Agent 的「进化」本质上是在改 prompt、改工具链配置、改调度逻辑，这些都属于外部框架层面的优化，而不触及神经网络内部的任何一个数值。它们可能确实有效，但从技术定义上讲，它们不是强化学习。

权重循环：真正动参数的那一半

第二种循环是 weight recipes（权重方案），包括 SAO、OpenClaw^广告-RL、TTT-Discover、Guidance-TTT。这一侧需要 GPU，也需要完整的训练栈。作者坦言自己只负责 harness 那一侧，权重这边只是阅读过代码，这点诚实值得肯定。

其中最值得关注的是 OpenClaw-RL，因为它是专门为线上流量（served traffic）设计的：策略会直接从对话本身被更新，奖励信号是一个二元值（binary reward），从用户的下一轮回复中读取出来。

这是一种相当激进的在线学习设定——模型不是在离线数据集上训练，而是在真实的对话流中边服务边学习。

**在线学习（Online Learning）**与离线训练的区别值得在此厘清。传统的模型训练是「离线」的：先收集数据集，再批量训练，训练完成后部署一个固定权重的模型。而 OpenClaw-RL 采用的「在线学习」范式意味着模型在服务真实用户请求的同时，持续接收奖励信号并更新自身权重——部署与训练是同一个过程。这种设定在工程上极具挑战性：需要同时维护推理引擎和训练循环，还要处理模型权重频繁更新带来的一致性问题。其使用的「二元奖励」（binary reward）——从用户下一轮回复中提取——是一种隐式反馈信号的代理，逻辑类似于「用户继续对话 = 正向反馈」，但这也意味着奖励信号相当稀疏且噪声较高。

已验证的实验结果：GSM8K 作业流

仓库里签入（checked in）的一个具体实验，在关闭 hermes memory 的条件下展开：

• 一个包含 72 个会话的 GSM8K 数学作业流
• 用 Qwen3-32B 扮演一个学生 persona
• 用 Qwen3-4B-Thinking 作为被训练的策略模型
• 奖励由一个 PRM（过程奖励模型）给出，而这个 PRM 正是那个 4B 模型的冻结基座版本，跑在它自己的引擎上

这个设计有个精妙之处：评分者（grader）用的是策略模型自己的起始权重，而不是一个外部的大模型。换句话说，模型是用「出发时的自己」来评判「成长中的自己」，整个过程跑在七张 GPU 上。

实验结果显示，这次运行在第 14 个会话达到了论文设定的适应标准（连续三个会话通过）。而在前 36 个会话里，学习曲线追踪了 bold rate 和 list rate 两个指标，二者都呈下降趋势。这就是目前公布的全部结果。

PRM（过程奖励模型，Process Reward Model）是区别于结果奖励模型（ORM）的一种评分机制。ORM 只对最终答案的对错给出一个总分，而 PRM 对解题过程中的每一个中间步骤分别打分，从而提供更细粒度的学习信号——这对数学推理类任务尤为关键，因为「答案正确但过程错误」或「过程正确但最终计算失误」在 ORM 下会得到相同评价，而 PRM 能区分二者。此实验中更值得注意的设计选择是：PRM 使用的是策略模型（Qwen3-4B-Thinking）的冻结基座权重，而非外部独立模型。这样做的好处是避免了对昂贵的大型评判模型的依赖，同时让评分标准与策略模型的初始能力对齐；潜在的局限则是，随着策略模型的权重不断更新，评分者与被评分者之间的能力分布可能逐渐产生偏差。

一句话判断：哪些参数动了？

这篇分享最实用的价值，是给出了一个极其简洁的判定标准。作者在最后留下一句忠告：

如果有一个帖子声称第一种循环（harness loop）是 RL，那就直接问它——到底是哪些参数发生了移动？

这句话几乎可以作为甄别所有「自进化 AI」宣传的试金石。强化学习的本质是通过奖励信号更新策略的参数；如果没有任何可训练参数被更新，那无论它表现得多像在「自我改进」，它都只是配置搜索或提示优化，而不是 RL。

在 Agent 概念被大量炒作的当下，这种对术语边界的清醒坚持尤为重要。把 prompt tuning 包装成 RL，不仅是术语的误用，也会误导人们对系统真实能力的判断。reef 把两种循环放在同一个仓库里对照呈现，恰恰让这条界线变得一目了然。