[控场AI]
概念Describe & Assess / 描述与评估框架

D&A

一种解耦描述与评估两阶段的零样本任务进度估计框架,先由VLM客观描述视频场景动态,再用显式评分标准对描述进行评判,以缓解确认偏差

时间轴 (近 90 天)

11月3日

D&A(Describe & Assess)将进度估计解耦为两个阶段:第一阶段是客观的、基于任务的场景动态文本描述;第二阶段是使用显式评分标准对描述进行评判。

待验证50%
11月3日

D&A强制模型在打分前合成一个基于文本的绝对成功定义,该定义是外部的、全局的准则,评估被锚定在它上面。

待验证50%
11月3日

D&A的显式评分标准由任务定义外部给定,将评估转化为若干离散的、可核验的判断项,降低了模型自由发挥的空间。

待验证50%
11月3日

论文实证结果显示,D&A作为一个纯基于提示的方法,在多个任务、embodiment和基准上匹配甚至超越了经过后训练的奖励模型。

待验证50%
11月3日

D&A产生的细粒度进度指标比二分类成功检测器信息量更大,能够支持高效的下游强化学习。

待验证50%
11月3日

D&A作为纯提示方法不修改基座模型参数,因而避开了数据收集与逐模型后训练的开销。

待验证50%
11月3日

D&A的设计使不同视频、不同embodiment之间的评分具有可比性,为细粒度部分进度提供了可解释的依据。

待验证50%
11月3日

D&A的启示是:VLM的能力不需要通过昂贵后训练才能释放,问题往往出在提示和评估框架的设计上。

待验证50%

全部知识事实 (8)

来源文章