基准CALVIN benchmark
CALVIN
用于评估机器人长程操作任务的基准,要求策略在连续指令序列下完成多个子任务,并记录平均完成链长,广泛用于目标条件操作研究
时间轴 (近 90 天)
10月20日
论文在 CALVIN 基准上测试表明,图像编辑质量排行榜上领先的编辑器(如 Gemini 3 Pro Image、GPT Image 1.5)作为控制目标时,成功率低于微调的开源模型。
待验证50%
10月20日
上述编辑质量与成功率脱钩的现象在 CALVIN 和 SIMPLER-Bridge 基准上均得到验证。
待验证50%
10月20日
基于 FLUX.1 Kontext 和 FLUX.2 klein 微调的 SGE-Goal 在 CALVIN 上排名第一。
待验证50%
9月1日
Meta-World提供了50个不同难度的桌面操作任务,RLBench包含100个任务且支持多种观察模式,CALVIN专注于语言条件下的长时序操作任务链,是机器人操控领域主要的仿真评测基准
待验证50%
9月1日
Meta-World、RLBench、CALVIN等基准测试平台提供了标准化的多任务评估环境
待验证50%
全部知识事实 (5)
待验证
论文在 CALVIN 基准上测试表明,图像编辑质量排行榜上领先的编辑器(如 Gemini 3 Pro Image、GPT Image 1.5)作为控制目标时,成功率低于微调的开源模型。
50%待验证上述编辑质量与成功率脱钩的现象在 CALVIN 和 SIMPLER-Bridge 基准上均得到验证。
50%待验证基于 FLUX.1 Kontext 和 FLUX.2 klein 微调的 SGE-Goal 在 CALVIN 上排名第一。
50%待验证Meta-World提供了50个不同难度的桌面操作任务,RLBench包含100个任务且支持多种观察模式,CALVIN专注于语言条件下的长时序操作任务链,是机器人操控领域主要的仿真评测基准
50%待验证Meta-World、RLBench、CALVIN等基准测试平台提供了标准化的多任务评估环境
50%