VeriCUA
一种用于验证电脑使用智能体(CUA)任务完成状态的平台无关框架,将验证过程重新定义为智能体主动探索环境、动态收集证据并评估的过程,分为构建评分标准与GUI/代码双重检查两阶段。
时间轴 (近 90 天)
VeriCUA是一个平台无关的验证框架,同一套流程同时适用于在线和离线场景,覆盖不同的观察模态,旨在验证电脑使用智能体(CUA)的任务完成状态。
VeriCUA将验证重新定义为在共享流程中动态收集证据并做出评估的过程,验证器主动探索环境,而非被动等待观察输入。
VeriCUA的流程分为两个阶段:首先检查可用上下文并构建任务评分标准(rubric);然后针对尚未解决的要求,选择GUI检查或代码检查,并在明确的证据规则下综合两者的发现。
rubric的质量直接决定验证上限,遗漏的要求无法被后续探索补回,因此第一阶段构建评分标准是整个流程中最关键的一步。
测试时探索借鉴测试时计算的思想,在推理阶段投入额外计算,通过多步交互、试错或搜索来提升结果质量;在VeriCUA中验证器可主动执行导航、点击、查询等动作,代价是延迟和操作风险。
根据论文摘要,VeriCUA在多项实验中展现出与参考标签更高的一致性,优于所比较的基线方法;在离线评估中困难案例上的提升最为明显,在在线场景下对虚假完成声明的拒绝能力更强。
论文将VeriCUA的性能提升归因于互补证据和测试时探索,即验证器在测试阶段主动探索环境的能力直接贡献了判断准确性的提升。
全部知识事实 (7)
VeriCUA是一个平台无关的验证框架,同一套流程同时适用于在线和离线场景,覆盖不同的观察模态,旨在验证电脑使用智能体(CUA)的任务完成状态。
50%待验证VeriCUA将验证重新定义为在共享流程中动态收集证据并做出评估的过程,验证器主动探索环境,而非被动等待观察输入。
50%待验证VeriCUA的流程分为两个阶段:首先检查可用上下文并构建任务评分标准(rubric);然后针对尚未解决的要求,选择GUI检查或代码检查,并在明确的证据规则下综合两者的发现。
50%待验证rubric的质量直接决定验证上限,遗漏的要求无法被后续探索补回,因此第一阶段构建评分标准是整个流程中最关键的一步。
50%待验证测试时探索借鉴测试时计算的思想,在推理阶段投入额外计算,通过多步交互、试错或搜索来提升结果质量;在VeriCUA中验证器可主动执行导航、点击、查询等动作,代价是延迟和操作风险。
50%待验证根据论文摘要,VeriCUA在多项实验中展现出与参考标签更高的一致性,优于所比较的基线方法;在离线评估中困难案例上的提升最为明显,在在线场景下对虚假完成声明的拒绝能力更强。
50%待验证论文将VeriCUA的性能提升归因于互补证据和测试时探索,即验证器在测试阶段主动探索环境的能力直接贡献了判断准确性的提升。
50%