AgentGarten
专注强化学习与视觉智能体研究的机构,提出共享神经渲染器方法提升智能体学习效率
时间轴 (近 90 天)
该方法要求世界的动力学必须以结构化条件表达并导出给渲染器,因此适用范围受限于代码定义的世界。
同一套流程在另外四个世界中复用,结果均有改善。
Adversarial Forcing 蒸馏步骤未必能泛化到未见过的物理或纹理。
“数百万对4轮”的对比建立在传统 RL 基线之上,若换成更强的像素级模型作为对照,效率差距会缩小多少目前没有答案。
AgentGarten 提出用一套共享神经渲染器为多个代码定义的世界提供实时视觉观测,智能体在仅通过渲染观测获取信息的条件下4轮即可收敛。
论文报告智能体在捉迷藏实验中第4轮学会搭建面板掩体,第10轮学会建造斜坡翻越围墙。
共享神经渲染器将渲染从每个世界单独手写的图形管线变为统一的神经渲染服务,从而降低每个新世界的视觉学习负担。
每轮经验会被提炼成可继承的“战术手册”,后续智能体在此基础上继续改进。
Matrix-Game 4.0 仅需一张消费级显卡,而 Code World Model 需要 1× H200 141GB,StreamRender-H3 需要 8× GB200,AgentGarten 需要 1× H100 数据中心卡。
Matrix-Game 4.0 的开源程度高于 Code World Model、StreamRender-H3(已开放)和 AgentGarten(部分开放)。
还有 1 条时间轴事件
全部知识事实 (11)
该方法要求世界的动力学必须以结构化条件表达并导出给渲染器,因此适用范围受限于代码定义的世界。
50%待验证同一套流程在另外四个世界中复用,结果均有改善。
50%待验证Adversarial Forcing 蒸馏步骤未必能泛化到未见过的物理或纹理。
50%待验证“数百万对4轮”的对比建立在传统 RL 基线之上,若换成更强的像素级模型作为对照,效率差距会缩小多少目前没有答案。
50%待验证AgentGarten 提出用一套共享神经渲染器为多个代码定义的世界提供实时视觉观测,智能体在仅通过渲染观测获取信息的条件下4轮即可收敛。
50%待验证论文报告智能体在捉迷藏实验中第4轮学会搭建面板掩体,第10轮学会建造斜坡翻越围墙。
50%待验证共享神经渲染器将渲染从每个世界单独手写的图形管线变为统一的神经渲染服务,从而降低每个新世界的视觉学习负担。
50%待验证每轮经验会被提炼成可继承的“战术手册”,后续智能体在此基础上继续改进。
50%待验证Matrix-Game 4.0 仅需一张消费级显卡,而 Code World Model 需要 1× H200 141GB,StreamRender-H3 需要 8× GB200,AgentGarten 需要 1× H100 数据中心卡。
50%待验证Matrix-Game 4.0 的开源程度高于 Code World Model、StreamRender-H3(已开放)和 AgentGarten(部分开放)。
50%待验证Matrix-Game 4.0 端到端延迟为 112 毫秒,而 Code World Model 约 10.2 秒、StreamRender-H3 约 545 毫秒、AgentGarten 约 878 毫秒。
50%