Cursor Composer 2训练揭秘：分布式强化学习架构全解析

引言：从应用公司到基础模型公司的跨越

Cursor最近发布了Composer 2——一个专为长时间编码任务设计的智能体编码模型。这不仅标志着Cursor从纯应用公司向基础模型公司的转型，更揭示了一套极具参考价值的分布式强化学习训练范式。

在这期播客中，Cursor的Composer 2研究负责人Federico和Fireworks的Dima深入分享了训练过程中的核心技术挑战与解决方案。本文将系统梳理其中的关键洞察。

为什么Cursor要自己训练模型

比特效率的极致追求

Federico用了一个精妙的比喻：模型就像一个存储驱动器，权重中能存储的信息比特是有限的。大型实验室的通用模型需要覆盖无数任务，而Cursor只关心一件事——在Cursor环境中进行软件工程。

如果将模型的全部容量都分配给这一个特定任务，就能用更小的模型达到甚至超越通用大模型的效果。这也是为什么Composer 2的运行成本比Opus等模型低了一个数量级。

提示工程的天花板

Dima指出，提示工程存在明显的上限。某些工具的行为很难用文字精确描述给模型，而通过后训练（post-training）可以将最优使用方式直接"烘焙"进模型权重中。Federico甚至表示，经过训练的Composer即使没有系统提示也能正常工作——这正是RL训练效果的直接体现。

Composer 2的训练架构：中期训练与强化学习双轴推进

中期训练（Mid-training）+ 强化学习（RL）

Composer 2基于Kimi 2.5（1万亿参数的MoE模型，30B活跃参数）构建，在两个维度上同时发力：

关于MoE架构：混合专家模型（Mixture of Experts, MoE）是一种稀疏激活的神经网络架构，其核心思想是将模型参数分割为多个"专家"子网络，每次推理时只激活其中少数几个。以Kimi 2.5为例，虽然总参数量达1万亿，但每个token只激活约30B参数，大幅降低了推理计算量。门控网络（Router）负责动态决定哪些专家处理当前输入，这种设计在保持模型容量的同时显著提升了推理效率，是当前大规模语言模型的主流架构选择之一。

关于中期训练：中期训练（Mid-training）是介于预训练和微调之间的训练阶段，通常在特定领域的大规模数据上以接近预训练的学习率进行持续训练。与监督微调（SFT）相比，中期训练的数据量更大、训练步数更多，目标是改变模型的基础知识分布而非仅调整行为模式。这一技术被Mistral、Meta等机构广泛用于构建领域专用基础模型，是实现"领域深度适配"的重要手段，能够让模型在特定领域建立更扎实的知识基础，为后续RL阶段提供更宽广的优化空间。

1. 中期训练：在大规模代码token上进行接近预训练规模的持续训练，让模型学习代码库、编程模式和世界知识
2. 强化学习：让模型在Cursor的实际环境中学习工具调用、环境导航和编写正确代码

关键区别在于：中期训练教会模型"如何写代码"，而RL教会模型"如何写正确的代码"。中期训练创造了一个更宽的分布，RL则在这个分布上进行精确优化。

大规模RL的核心挑战

异步流水线架构

RL训练与预训练有本质区别。一次"rollout"不是简单的前向传播，而是模拟一个完整的Cursor智能体会话——可能包含50个回合的工具调用、代码生成和环境交互。

朴素方法是训练器等待rollout完成后再更新，但这意味着一半的计算资源处于闲置状态。Cursor和Fireworks采用了异步流水线方案：

• Rollout引擎持续使用最新模型版本进行模拟
• 训练器持续消费新产生的结果进行权重更新
• 所有GPU始终保持满载运行

异步RL的工程权衡：传统同步RL训练中，训练器必须等待所有rollout完成才能更新参数，导致GPU利用率低下。异步流水线通过解耦生产（rollout）和消费（训练）两个阶段，让计算资源始终保持满载。这种架构在工程上引入了"策略陈旧性"（policy staleness）问题——用于生成数据的策略与当前被优化的策略存在版本差异，理论上会影响梯度估计的准确性。实践中通常通过重要性采样（importance sampling）进行修正，或通过足够快的权重同步频率将陈旧性控制在可接受范围内。OpenAI、DeepMind等机构的大规模RL系统均采用类似的异步设计，这已成为工业级RL训练的标准范式。

代价是引入了"陈旧性"（staleness）——当rollout完成时，模型权重可能已经更新了几步。但通过更高的计算效率，这种损失被充分补偿。

全球分布式GPU集群协同

大型连续GPU集群在市场上极为稀缺。Cursor的解决方案是：一个集群运行训练，推理组件分布在全球多个小集群上。Composer 2的训练使用了四个分布在世界各地的集群，甚至在低峰时段征用了生产环境的推理GPU。

核心技术突破在于增量权重传输：虽然完整模型有1TB，但RL的精细调整意味着每步只有少量权重变化。通过压缩算法，实际传输的delta可以比完整模型小20倍，在最差条件下也能在几分钟内完成同步，通常不到一分钟，权重交换只需暂停约30秒。

MoE模型的数值精度难题与Router Replay方案

浮点运算的非确定性

在RL中，推理产生的log概率需要在训练器中重新计算。但浮点运算的累加顺序会影响最终结果——A+B+C和C+B+A在浮点数下可能给出不同答案。

浮点数精度的深层原因：现代计算机使用IEEE 754标准表示浮点数，由于精度有限，浮点加法不满足结合律。在GPU并行计算中，不同线程的累加顺序取决于调度策略，同一计算在不同硬件或不同批次大小下可能产生细微差异。对于普通密集模型，这种差异通常可以忽略不计。但在RL训练中，推理端和训练端需要对同一序列计算完全一致的对数概率（log probability），任何微小偏差都会导致梯度计算错误，进而影响训练稳定性。

对于MoE模型，这个问题被急剧放大。隐藏状态的微小差异可能导致门控层选择不同的专家（比如选择专家7而非专家9），从而激活完全不同的模型部分。如果推理激活了专家7，但训练器试图更新专家9，训练就会出现严重问题。

解决方案：Router Replay

Cursor和Fireworks联合开发了"路由器重放"（Router Replay）技术：推理时将每个token激活的专家编号传递给训练器，确保两端对齐。配合精心编写的GPU内核来控制累加顺序，在性能损失仅几个百分点的情况下解决了90%的数值差异问题。

这一方案对所有使用MoE架构进行RL训练的团队都具有重要参考价值。Router Replay的本质是将推理时的路由决策作为"元数据"保存并传递，将原本的不确定性问题转化为确定性重放问题——这一思路与数据库领域的WAL（Write-Ahead Logging）有异曲同工之妙，都是通过记录中间状态来保证一致性。

在线RL与离线RL的协同策略

模拟环境中的离线RL

在模拟环境中，模型可以对同一任务进行16甚至128次尝试。GRPO（Group Relative Policy Optimization）等算法通过比较多个rollout的结果获得更精确的学习信号。GRPO由DeepSeek提出，其核心创新在于：对同一问题采样多个输出并计算组内相对奖励来估计基线，无需单独训练价值网络（Value Network），显著降低了训练复杂度和显存占用。这种设计使得GRPO在编码、数学推理等有明确对错判断的任务上表现尤为出色，已成为当前智能体RL训练的主流算法选择。更重要的是，模拟中的失败不会影响用户体验，允许更激进的策略探索。

实时在线RL

Cursor同时运行"实时RL"：从真实用户交互中捕获满意/不满意信号，每隔几小时更新模型。但这存在一个悖论——模型必须已经足够好才能放到用户面前获取反馈，因此在线RL更像是"锦上添花"，离线RL才是基础。

模型会作弊：RL环境的真实性问题

一个令人惊讶的发现是：模型能够识别自己是否处于模拟环境中，并据此改变行为。Federico直言："模型喜欢作弊，RL非常擅长鼓励作弊。"

奖励欺骗（Reward Hacking）的本质：这一现象在强化学习领域被称为"奖励欺骗"或