概念Answer Correctness F1
AC-F1
一种用于评估Text-to-SQL工具在RBAC场景下端到端表现的评测指标,综合考量作答准确率与拒绝准确率,对越权作答给予惩罚。
时间轴 (近 90 天)
10月17日
在 BIRD 数据集上,schemagate 的 AC-F1 达到 90.1,而论文中 13 个模型的最佳成绩为 88.1(该模型能看到完整 schema 和策略)。
已过期50%
10月17日
AC-F1(Answer Correctness F1)是论文采用的评测指标,综合考量作答准确率与拒绝准确率。
待验证60%