LLM Agent 替代遥操作：机器人数据采集成本骤降

机器人示教数据采集长期依赖遥操作，但每个演示片段都消耗机器人和操作员的时间，且新任务往往需要从头开始。一篇名为《PyRUA-DataFarm: LLM Agent as a Cost-Efficient Teleoperator for Real-Ready Robot Data》的研究提出了一种新思路：让编码智能体（coding agent）接管遥操作员的工作，在仿真中重建任务并生成可直接用于真实机器人训练的数据。

核心思路：用编码智能体重建任务

DataFarm 的工作流程如下：智能体接收一个数据请求，以及目标场景中机器人的一段校准片段，然后在仿真中重建任务——它编写场景、专家控制器和成功判定器。仿真器提供精确的动作，而一个以真实图像为条件的视频模型将每次 rollout 渲染为照片级视频，并一致地生成所有相机视角。输出的是“真实就绪”的数据：同步的相机视角，标注了机器人的动作，策略可以直接在其上训练并部署到真实机器人。独立评审员在接纳前认证专家和每个渲染片段。

据论文描述，这一过程完全自动，无需人工干预。智能体本质上扮演了遥操作员的角色，但产出的是仿真数据，避免了真实机器人磨损和操作员时间消耗。

遥操作（Teleoperation） 是机器人示教数据采集的传统方式，操作员通过手柄、VR设备或主从机械臂实时控制机器人完成任务，同时记录关节角度、末端执行器位姿和相机图像。其核心优势是数据直接来自真实机器人，动作与观测严格同步，策略可直接在其上训练。然而，遥操作存在明显瓶颈：每个演示片段都需要机器人和操作员同时在线，采集速度受限于操作员熟练度；真实机器人长时间运行会磨损硬件；新任务往往需要重新设计场景和演示流程，难以规模化。DataFarm 正是在这一背景下提出用编码智能体替代遥操作员，将数据采集从物理世界转移到仿真世界，从而规避硬件损耗和人力成本。

视频模型以真实图像为条件渲染仿真 rollout 是 DataFarm 实现“真实就绪”数据的关键环节。具体而言，仿真器根据智能体编写的场景和专家控制器生成动作序列及低维观测，视频模型则以目标场景的一张或多张真实图像作为条件，将仿真 rollout 逐帧渲染为照片级视频，并保证多个相机视角在时间上一致。这种做法的好处是：动作标注直接来自仿真器，精确且无需人工标注；而视觉外观由视频模型从真实图像迁移而来，缩小了仿真与真实的视觉差距。该技术路线属于“仿真生成+真实图像条件渲染”的混合范式，区别于纯仿真渲染或纯真实数据采集，其保真度取决于视频模型对目标场景的还原能力。

性能验证：与遥操作数据持平甚至更优

研究在五个真实机器人任务上进行了测试。仅使用 DataFarm 数据训练的策略，与使用同等数量遥操作片段训练的策略表现相当：在 100 次试验中，前者成功 93 次，后者成功 84 次。更关键的是，在未见过的桌布和彩色光照条件下，DataFarm 训练的策略保持了 87 次成功，而遥操作训练的策略降至 46 次。这表明仿真数据可能带来更好的泛化能力。

论文没有详细解释泛化优势的原因，但可以推测，视频模型渲染的多样性以及仿真中精确的标注有助于策略学习更鲁棒的特征。

策略迁移（Policy Transfer） 指在仿真或源域中训练的策略部署到真实机器人目标域时的性能保持程度。DataFarm 数据训练的策略在真实机器人上取得 93/100 的成功率，说明其数据具备良好的迁移性。迁移效果通常受视觉域差异（如光照、纹理、相机参数）和动作分布差异影响。DataFarm 通过视频模型以真实图像为条件渲染，在视觉上贴近目标域；同时仿真器提供的动作精确且与观测同步，减少了动作-观测错位。值得注意的是，在未见过的桌布和彩色光照条件下，DataFarm 策略成功率保持 87/100，而遥操作策略降至 46/100，这暗示视频模型渲染的多样性可能起到了数据增强的作用，使策略对视觉扰动更鲁棒。

成本对比：显著低于传统遥操作

成本是这项研究的一大亮点。任务适配完全自动，平均花费 21 美元的 API 使用费，每个任务支付一次，外加 5 美元的渲染合同费用；此后每个额外片段平均花费 0.80 美元，用于仿真、渲染和审核，无需机器人和操作员。一个任务的一小时三视角数据平均成本为 107 美元（包含上述费用），略低于中国遥操作报价 117 美元，也低于北美仅劳动力成本 290 美元。

这一成本结构意味着，对于需要大量数据的任务，DataFarm 可以大幅降低边际成本。不过，初始的 API 和渲染合同费用是固定投入，适合重复性任务。

API 使用费与渲染合同费用 构成了 DataFarm 成本结构的两部分。API 使用费指调用 LLM 编码智能体编写场景、专家控制器和成功判定器所产生的推理成本，平均每个任务 21 美元，属于一次性任务适配投入。渲染合同费用指调用视频模型将仿真 rollout 渲染为照片级多视角视频的支出，每个任务 5 美元，同样是一次性固定成本。此后每个额外片段仅需 0.80 美元，覆盖仿真、渲染和审核的边际成本。这种“高固定成本、低边际成本”的结构意味着任务重复次数越多，平均成本越低。对于需要大量演示片段的任务，DataFarm 的经济性显著优于遥操作；但对于一次性或极少量数据的任务，初始投入可能削弱其成本优势。

局限与展望

论文未提及视频模型渲染的保真度对策略迁移的影响，以及校准片段的质量要求。此外，独立评审员的认证标准也未详细说明。尽管如此，这项研究展示了 LLM 智能体在机器人数据采集领域的潜力，为降低数据门槛提供了新路径。

未来，若视频模型和仿真器进一步改进，DataFarm 或许能覆盖更复杂的任务和场景。对于机器人学习社区而言，这无疑是一个值得关注的方向。