Gear：把RSI变成scikit-learn式框架，任务通过率最高提升10个百分点

在自我改进系统（RSI）的研究中，一个反复出现的困境是：论文越来越多，但彼此之间难以比较。Reddit社区最近出现的一个开源项目Gear，试图改变这一点——它的目标很明确，就是做"RSI领域的scikit-learn"。

从强化学习的老问题到RSI的新框架

项目作者在阅读了大量RSI论文后发现，这个领域正在重演强化学习和进化搜索中熟悉的问题：如何高效地找到有希望的改动（采样）？如何确认新变体真的改进了智能体（评估）？如何避免过早收敛（多样性）？

这些问题的共性在于，它们都指向搜索策略与执行评估的耦合。Gear的设计思路是把这两者拆开：一个任务智能体负责产出执行轨迹，一个元智能体则利用这些轨迹和评估反馈，去改进提示词、工具、工作流以及上下文管理。这种元学习式的架构让搜索决策可以独立于执行与评估环节，为不同RSI方法的模块化实现提供了基础。

RSI（Recursive Self-Improvement，递归自我改进） 指智能体系统利用自身能力改进自身（或其组件）的循环过程：系统产出的改进被重新部署，从而在下一次迭代中具备更强的改进能力。与一次性的模型微调不同，RSI 关注的是"改进能力本身"能否被迭代放大，因此其研究核心往往落在搜索空间的设计、改进效果的可靠评估，以及避免自我强化过程中退化为局部最优。在工程实现上，RSI 通常表现为让一个元层（meta-level）智能体去修改提示词、工具集、工作流或上下文管理策略，再由任务层智能体执行具体任务并返回反馈。也正因如此，RSI 天然继承并放大了强化学习中的探索—利用权衡与信用分配难题，这使得跨论文的可比性成为该领域的突出痛点。

已有可运行的GEPA变体与阶段式评估

Gear目前已经实现了一个可工作的GEPA变体，并配备了共享的失败诊断和阶段式评估机制。作者的另一层考虑是生态兼容性：他们希望GEPA、RRSI、Harness²这些方法都能在Gear上更容易地实现和横向对比，而不是各自维护一套难以复现的代码。

这一点对RSI研究的可复现性有实际意义。过去不同论文的评估条件往往不一致，导致读者很难判断性能差异究竟来自方法本身还是实现细节。一个统一的框架如果能降低这种摩擦，会加快方法之间的良性竞争。

GEPA（Genetic-Pareto 类提示词进化方法） 是一类将进化搜索与提示词优化结合的方法：它维护一个候选提示词（或程序变体）种群，通过采样、变异、评估形成代际迭代，并借助类似 Pareto 前沿的筛选机制在多个评估维度或任务实例上保留多样化的优胜候选，从而缓解单一指标下的过早收敛。与基于梯度的优化不同，GEPA 属于无需梯度、以评估反馈为信号的黑盒搜索，因此评估成本与评估噪声直接决定其可行性。Harness² 则强调对"执行脚手架"（harness）本身进行迭代改进——即围绕模型的外部编排层，包括工具调用、上下文组织与工作流结构——它把改进对象从模型权重或提示词扩展到整个运行环境。RRSI 等方法的差异主要体现在搜索算子与评估协议上，这正是将它们纳入统一框架后最需要对齐的部分。

基准数据：任务通过率与成本的取舍

作者公布了一组在GPT 5.6 Luna、中等推理强度下的任务通过率数据。在DSH（动态搜索框架）基线与Gear优化后的DSH之间，AutomationBench Marketing从27.0%提升到40.0%，AutomationBench Support从17.0%提升到25.0%，Terminal-Bench 2.1则从52.8%提升到62.9%。三个基准上均有明显改进，其中Terminal-Bench的绝对提升达到10个百分点以上。

在Marketing基准的最大推理强度下，经过优化的harness让Luna达到88.88%的目标完成率，高于Astra + Codex的84.08%。不过严格任务通过率是53%对57%，说明Luna的优势主要体现在部分完成度上，而非全任务的严格通过。这是一个值得注意的细节：目标完成率与严格通过率的差异，揭示了优化后的智能体更擅长推进任务进展，但在最终交付的可靠性上仍有差距。

成本维度的对比更为突出。在两个模型使用相同的优化DSH、最大推理强度的情况下，Luna的估算API成本平均为每任务0.0568美元，Astra则为1.1858美元，前者低95.21%——当然，这一数字不含优化与基础设施成本。

严格任务通过率与目标完成率是两类不同的评估口径：前者要求任务的所有验收条件全部满足才计为成功，属于二值化的严格判定；后者通常由评分器或模型评判给出，允许部分完成获得部分分数，因而对"推进了任务但未完全交付"的行为更宽容。二者出现系统性差异时，往往说明被评估系统擅长分解与执行中间步骤，却在最终交付的完整性、边界条件处理或格式合规上存在短板。Terminal-Bench 是一类面向终端/命令行环境的智能体基准，任务涉及文件操作、脚本编写与多步调试，强调在真实执行环境中的可验证结果，因此其通过率对实现细节和工具稳定性较为敏感。AutomationBench 则按业务场景（如 Marketing、Support）划分任务集，用于衡量智能体在贴近实际工作流中的端到端完成能力。

仍待回答的评估与多样性问题

作者在帖子中坦率地提出了两个开放问题：在有限预算下如何做候选评估，以及如何保持多样性。这恰恰是Gear作为"RSI的scikit-learn"能否成立的关键。

候选评估的预算约束直接影响搜索的广度——评估越贵，可尝试的变体就越少，过早收敛的风险就越高。多样性保持则涉及搜索空间的探索策略，如果元智能体总是沿着反馈信号最强的方向优化，可能会陷入局部最优。作者没有给出这两个问题的答案，而是公开向社区征集反馈，这本身也反映了项目仍处于早期阶段。

从定位上看，Gear的价值不仅在于某一组基准数字，而在于它试图为RSI研究提供一个可复用、可比较的工程底座。如果后续能吸引更多方法接入并形成一致的评估协议，这类框架对领域的影响可能超过单篇论文的性能提升。

预算受限下的候选评估是进化式与搜索式优化中的经典难题：每个候选的评估都需要真实执行任务并打分，成本高昂，因此研究常采用代理评估（surrogate）、早期淘汰（successive halving）、子集抽样或噪声感知的排序策略，以在有限样本下尽量可靠地区分候选优劣。评估噪声带来的一个直接风险是"过拟合验证集"——搜索过程可能选中那些仅在少量评估实例上侥幸表现更好的变体。多样性保持则对应进化计算中的种群多样性维护机制，例如按行为特征或结果特征进行分箱（如 MAP-Elites 思路）、显式惩罚与已选候选过于相似的个体、或在 Pareto 前沿上保留多目标折中解。二者共同决定了搜索能否跳出局部最优：评估越省、多样性越强，搜索覆盖的有效区域通常越大，但收敛速度与信号可靠性也相应下降。