BFCL
BFCL(Berkeley Function Calling Leaderboard)是由加州大学伯克利分校发布的基准测试,专门用于评估大语言模型在函数调用与工具使用方面的能力。该基准涵盖多种编程语言、多种函数调用场景(包括单函数、并行调用、嵌套调用等),通过标准化测试集对模型的指令理解、参数提取与格式化输出进行系统性评估,是衡量模型工具调用能力的重要参考标准之一。
核心事实
时间轴 (近 90 天)
评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。
BFCL 是评估模型函数调用能力的常用基准,覆盖简单函数、多函数选择、参数填充等场景。
在 2-bit 量化下,BFCL 的 Simple 类别可能仍保持较高通过率,而 Parallel 与参数填充类任务往往率先退化。
BFCL 由伯克利团队维护,评测集按难度分层包括 Simple、Multiple、Parallel、Parallel Multiple、Relevance Detection 等类别。
Tīrtha Bench 的核心测试包含 800 个工具调用任务,取自伯克利公开的 BFCL 数据集,其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。
Tīrtha Bench 在 800 个 BFCL 任务之外,额外加入了 120 个作者专门编写的陷阱提示词,用于诱导模型做出错误的工具调用。
Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求,用伯克利官方检查器评分得到 90.6%,Tīrtha 自己的结果是 91.0%,800 个任务中相差三个。
复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复,且 Tīrtha 的评分器是自行重写的伯克利版本;作者表示将改用官方检查器重新评分。
Agent能力通常通过工具调用准确率、多步任务完成率、指令遵循度等维度衡量,典型基准包括BFCL、τ-bench、GAIA等;Coding能力通过代码生成与修复类基准(如SWE-bench、LiveCodeBench)衡量。
在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。
还有 5 条时间轴事件
全部知识事实 (15)
BFCL(Berkeley Function Calling Leaderboard)是由加州大学伯克利分校发布的工具调用能力评测基准,V4版本是其多轮对话扩展版
75%待验证评估智能体能力常用的基准包括工具调用类 BFCL 与交互式环境类 WebArena、SWE-bench。
50%待验证BFCL 由伯克利团队维护,评测集按难度分层包括 Simple、Multiple、Parallel、Parallel Multiple、Relevance Detection 等类别。
50%待验证BFCL 是评估模型函数调用能力的常用基准,覆盖简单函数、多函数选择、参数填充等场景。
50%待验证复现过程暴露了公共测试集中有两个条目的预期答案会惩罚合理的回复,且 Tīrtha 的评分器是自行重写的伯克利版本;作者表示将改用官方检查器重新评分。
50%待验证Tīrtha Bench 的核心测试包含 800 个工具调用任务,取自伯克利公开的 BFCL 数据集,其中 400 个单次调用、200 个多工具选择、200 个需要并行调用的任务。
50%待验证Tīrtha Bench 在 800 个 BFCL 任务之外,额外加入了 120 个作者专门编写的陷阱提示词,用于诱导模型做出错误的工具调用。
50%待验证Agent能力通常通过工具调用准确率、多步任务完成率、指令遵循度等维度衡量,典型基准包括BFCL、τ-bench、GAIA等;Coding能力通过代码生成与修复类基准(如SWE-bench、LiveCodeBench)衡量。
50%待验证在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。
50%待验证BFCL是加州大学伯克利分校发布的专项基准,评估大语言模型在结构化函数调用场景的准确率
50%待验证BFCL官方100项并行工具调用测试中,Saluki斩获42分,超过原版的35分,成功率提升约20%
50%待验证在工具调用测试BFCL中,Qwen3得分83%
50%待验证在基准测试中 2.0 相比基础模型在 IFBench(37.3→43.7)、When2Call(48→58)、BFCL irrelevance(60→78)上提升明显
50%待验证在 2-bit 量化下,BFCL 的 Simple 类别可能仍保持较高通过率,而 Parallel 与参数填充类任务往往率先退化。
50%待验证Mikhail Maslenik 在自己的机器上、用同一模型的量化副本复现了 Tīrtha Bench 的 800 个请求,用伯克利官方检查器评分得到 90.6%,Tīrtha 自己的结果是 91.0%,800 个任务中相差三个。
50%