[控场AI]
基准

BFCL

BFCL(Berkeley Function Calling Leaderboard)是由加州大学伯克利分校发布的基准测试,专门用于评估大语言模型在函数调用与工具使用方面的能力。该基准涵盖多种编程语言、多种函数调用场景(包括单函数、并行调用、嵌套调用等),通过标准化测试集对模型的指令理解、参数提取与格式化输出进行系统性评估,是衡量模型工具调用能力的重要参考标准之一。

核心事实

时间轴 (近 90 天)

10月29日

评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。

待验证50%
10月25日

BFCL 是评估模型函数调用能力的常用基准,覆盖简单函数、多函数选择、参数填充等场景。

待验证50%
10月25日

在 2-bit 量化下,BFCL 的 Simple 类别可能仍保持较高通过率,而 Parallel 与参数填充类任务往往率先退化。

待验证50%
10月25日

BFCL 由伯克利团队维护,评测集按难度分层包括 Simple、Multiple、Parallel、Parallel Multiple、Relevance Detection 等类别。

待验证50%
10月19日

Tīrtha Bench 的核心测试包含 800 个工具调用任务,取自伯克利公开的 BFCL 数据集,其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。

待验证50%
10月19日

Tīrtha Bench 在 800 个 BFCL 任务之外,额外加入了 120 个作者专门编写的陷阱提示词,用于诱导模型做出错误的工具调用。

待验证50%
10月19日

Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求,用伯克利官方检查器评分得到 90.6%,Tīrtha 自己的结果是 91.0%,800 个任务中相差三个。

待验证50%
10月19日

复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复,且 Tīrtha 的评分器是自行重写的伯克利版本;作者表示将改用官方检查器重新评分。

待验证50%
10月15日

Agent能力通常通过工具调用准确率、多步任务完成率、指令遵循度等维度衡量,典型基准包括BFCL、τ-bench、GAIA等;Coding能力通过代码生成与修复类基准(如SWE-bench、LiveCodeBench)衡量。

待验证50%
10月13日

在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。

待验证50%

还有 5 条时间轴事件

全部知识事实 (15)

已验证

BFCL(Berkeley Function Calling Leaderboard)是由加州大学伯克利分校发布的工具调用能力评测基准,V4版本是其多轮对话扩展版

75%
待验证

评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。

50%
待验证

BFCL 由伯克利团队维护,评测集按难度分层包括 Simple、Multiple、Parallel、Parallel Multiple、Relevance Detection 等类别。

50%
待验证

BFCL 是评估模型函数调用能力的常用基准,覆盖简单函数、多函数选择、参数填充等场景。

50%
待验证

复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复,且 Tīrtha 的评分器是自行重写的伯克利版本;作者表示将改用官方检查器重新评分。

50%
待验证

Tīrtha Bench 的核心测试包含 800 个工具调用任务,取自伯克利公开的 BFCL 数据集,其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。

50%
待验证

Tīrtha Bench 在 800 个 BFCL 任务之外,额外加入了 120 个作者专门编写的陷阱提示词,用于诱导模型做出错误的工具调用。

50%
待验证

Agent能力通常通过工具调用准确率、多步任务完成率、指令遵循度等维度衡量,典型基准包括BFCL、τ-bench、GAIA等;Coding能力通过代码生成与修复类基准(如SWE-bench、LiveCodeBench)衡量。

50%
待验证

在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。

50%
待验证

BFCL是加州大学伯克利分校发布的专项基准,评估大语言模型在结构化函数调用场景的准确率

50%
待验证

BFCL官方100项并行工具调用测试中,Saluki斩获42分,超过原版的35分,成功率提升约20%

50%
待验证

在工具调用测试BFCL中,Qwen3得分83%

50%
待验证

在基准测试中 2.0 相比基础模型在 IFBench(37.3→43.7)、When2Call(48→58)、BFCL irrelevance(60→78)上提升明显

50%
待验证

在 2-bit 量化下,BFCL 的 Simple 类别可能仍保持较高通过率,而 Parallel 与参数填充类任务往往率先退化。

50%
待验证

Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求,用伯克利官方检查器评分得到 90.6%,Tīrtha 自己的结果是 91.0%,800 个任务中相差三个。

50%

来源文章