[控场AI]
概念Answer Correctness F1

AC-F1

一种用于评估Text-to-SQL工具在RBAC场景下端到端表现的评测指标,综合考量作答准确率与拒绝准确率,对越权作答给予惩罚。

时间轴 (近 90 天)

10月17日

在 BIRD 数据集上,schemagate 的 AC-F1 达到 90.1,而论文中 13 个模型的最佳成绩为 88.1(该模型能看到完整 schema 和策略)。

已过期50%
10月17日

AC-F1(Answer Correctness F1)是论文采用的评测指标,综合考量作答准确率与拒绝准确率。

待验证60%

全部知识事实 (1)

来源文章