[控场AI]
基准WebArena Benchmark

WebArena

面向AI智能体任务评估的基准测试环境,用于标准化智能体在网页交互等真实世界任务中的评估框架

时间轴 (近 90 天)

10月30日

评估开源浏览器Agent项目时,通常需要关注几个维度:是否提供可复现的基准测试(如WebArena、Mind2Web等浏览器任务评测集上的成功率)、依赖的模型是否可本地部署、以及回退策略的触发频率是否有量化数据。

待验证50%
10月29日

评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。

待验证50%
10月26日

OSWorld 和 WebArena 是业界常用的衡量模型在真实界面环境中完成多步任务比例的基准。

待验证50%
10月19日

AgentBench和WebArena是静态基准的例子,提供可复现的测试集但容易过拟合。

待验证50%
10月19日

业界 Agent 评测正在从静态数据集转向动态、交互式的环境评测,如 AgentBench、WebArena 等,重点考察模型在真实工具环境中的决策质量与安全性。

待验证50%
10月16日

WebArena基准构建了多个可交互的仿真网站(如电商、论坛、GitLab),让Agent在浏览器中完成订票、发帖、改配置等多步任务。

待验证50%
10月16日

SWE-bench和WebArena等Agent类基准开始考察多步操作和真实环境交互,部分弥补了传统基准的不足,但仍受限于仿真环境的保真度且评测成本高。

待验证50%
10月14日

评估浏览器智能体通常使用 WebArena、WebVoyager、Mind2Web、GAIA 等公开基准,用真实网站上的多步任务测量端到端成功率和步数效率。

待验证50%
10月6日

在WebArena浏览器智能体基准测试中,当时最强的GPT-4智能体得分14.41%,人类得分78.24%

待验证50%
10月5日

WebArena、AgentBench、τ-bench等面向Agent能力的基准测试环境仍以沙盒模拟为主,难以捕捉生产级系统中真实的数据噪声、权限边界、延迟抖动与错误传播链条

待验证50%

还有 9 条时间轴事件

全部知识事实 (20)

待验证

在开源领域,与Browser-Use类似定位的项目还有LaVague、WebArena、Skyvern等

90%
待验证

Stanford University's WebArena benchmark, released in 2023, showed that even the most advanced AI models achieve only about a 14% success rate on complex operational tasks on real web pages

60%
待验证

评估开源浏览器Agent项目时,通常需要关注几个维度:是否提供可复现的基准测试(如WebArena、Mind2Web等浏览器任务评测集上的成功率)、依赖的模型是否可本地部署、以及回退策略的触发频率是否有量化数据。

50%
待验证

评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。

50%
待验证

OSWorld 和 WebArena 是业界常用的衡量模型在真实界面环境中完成多步任务比例的基准。

50%
待验证

AgentBench和WebArena是静态基准的例子,提供可复现的测试集但容易过拟合。

50%
待验证

业界 Agent 评测正在从静态数据集转向动态、交互式的环境评测,如 AgentBench、WebArena 等,重点考察模型在真实工具环境中的决策质量与安全性。

50%
待验证

WebArena基准构建了多个可交互的仿真网站(如电商、论坛、GitLab),让Agent在浏览器中完成订票、发帖、改配置等多步任务。

50%
待验证

SWE-bench和WebArena等Agent类基准开始考察多步操作和真实环境交互,部分弥补了传统基准的不足,但仍受限于仿真环境的保真度且评测成本高。

50%
待验证

评估浏览器智能体通常使用 WebArena、WebVoyager、Mind2Web、GAIA 等公开基准,用真实网站上的多步任务测量端到端成功率和步数效率。

50%
待验证

在WebArena浏览器智能体基准测试中,当时最强的GPT-4智能体得分14.41%,人类得分78.24%

50%
待验证

WebArena、AgentBench、τ-bench等面向Agent能力的基准测试环境仍以沙盒模拟为主,难以捕捉生产级系统中真实的数据噪声、权限边界、延迟抖动与错误传播链条

50%
待验证

SWE-bench和WebArena是Agent范式下的典型评估基准

50%
待验证

Agent 评估当前主流方案分为三类:基于确定性断言的任务完成率、LLM-as-Judge、端到端基准测试集(如 SWE-Bench、WebArena)

50%
待验证

WebArena、ToolBench 和 AgentBench 是当前主流的 AI Agent 基准,分别侧重网页操作、工具调用和多环境综合

50%
待验证

WebArena是卡内基梅隆大学于2023年推出的基准,部署了Reddit、GitLab、电商网站等真实Web应用的自托管副本

50%
待验证

WebArena、MiniWoB++、Mind2Web是浏览器自动化领域的早期代表性基准,分别侧重真实网站交互、简化网页操作和跨网站泛化能力

50%
待验证

Qwen3 27B 在电脑操作类基准上表现为 OSWorld Verified 84.3、WebArena Verified 64.8、AndroidWorld 81.9

50%
待验证

WebArena和Mind2Web等基准测试表明,当前最强的Web智能体在复杂网页任务上的成功率仍低于50%

50%
待验证

Agentic基准评测通常涉及SWE-bench、WebArena、GAIA等多个子基准的加权综合

50%

来源文章