[控场AI]
基准CALVIN benchmark

CALVIN

用于评估机器人长程操作任务的基准,要求策略在连续指令序列下完成多个子任务,并记录平均完成链长,广泛用于目标条件操作研究

时间轴 (近 90 天)

10月20日

论文在 CALVIN 基准上测试表明,图像编辑质量排行榜上领先的编辑器(如 Gemini 3 Pro Image、GPT Image 1.5)作为控制目标时,成功率低于微调的开源模型。

待验证50%
10月20日

上述编辑质量与成功率脱钩的现象在 CALVIN 和 SIMPLER-Bridge 基准上均得到验证。

待验证50%
10月20日

基于 FLUX.1 Kontext 和 FLUX.2 klein 微调的 SGE-Goal 在 CALVIN 上排名第一。

待验证50%
9月1日

Meta-World提供了50个不同难度的桌面操作任务,RLBench包含100个任务且支持多种观察模式,CALVIN专注于语言条件下的长时序操作任务链,是机器人操控领域主要的仿真评测基准

待验证50%
9月1日

Meta-World、RLBench、CALVIN等基准测试平台提供了标准化的多任务评估环境

待验证50%

全部知识事实 (5)

来源文章