BIRD

Text-to-SQL领域的典型基准（如Spider、BIRD）通常提供干净的schema、明确的单轮问题和标准答案，而企业真实场景往往包含脏数据、多轮澄清、权限过滤、跨库join以及口径歧义，导致基准分数与生产表现存在系统性偏差。

在BIRD的七表数据库上，SchemagateRetriever仅缩减提示词体积8.8%。

92.9%与8.8%均为作者自测的中位数，且仅在Spider 2.0与BIRD的特定schema上得出，尚未看到第三方独立复现。

同一套流水线、同样的 135 道 Spider 2.0-lite SQLite 题上，Sonnet 拿到 71.9% 而 Opus 只有 67.4%，但在 BIRD 上 Opus 表现更好。

BIRD 是 Text-to-SQL 领域最具影响力的公开基准之一，其 dev 集包含 1534 道跨多个数据库的自然语言问句，评估通常以执行准确率为准。

在 BIRD dev 集全部 1534 道题上，Claude Opus 5.5 取得了 77.1% 的执行准确率。

UniQL是一个新的基准测试，将BIRD数据集中的1,534个问题翻译成了16种SQL方言。

schemagate 在提示词中加入“你看到的是这个数据库的一部分，如果需要更多信息就拒绝作答”，在 100 道问题的试点中将错误答案从 16% 降到了 5%。

schemagate 作者指出其局限：仅测试了一个模型，提示词措辞是在 100 道 BIRD 问题上选定的；去掉这两个因素后分数基本不变（90.08）。

该论文在 BIRD 数据集上测试纯 schema 过滤的最佳配置，仍有约 27% 本应拒绝的问题被模型回答了。

提示语的措辞是在100个BIRD问题上选定的，而这些问题是测试集的一部分，存在调参污染。

在BIRD数据集上，论文中最佳的“隐藏schema”配置对于本应拒绝的问题仍有27%给出了回答。

给模型提供BIRD的列描述反而使schemagate的结果变差。

BIRD数据库版本为2024版，论文使用的是2025版。

schemagate benchmark 的配对 McNemar 检验，Spider 上 p 值约 1e-49，BIRD 上约 1e-36。

在 schemagate 的 benchmark 中，Spider 数据集 1034 个问题上纯数学排序准确率为 80.3%，重排序后为 96.5%；BIRD 数据集 1534 个问题上纯数学排序为 88.6%，重排序后为 96.7%。

schemagate 的 benchmark 条件：将 Spider dev 的全部 876 张表和 BIRD dev 放在同一个池子里，模型不知道问题属于哪个数据库，一张表必须全部出现在正确 SQL 用到的表集合中才算命中 top 5。

BIRD基准测试覆盖4个数据库共179道题，由Google的gemini-3.8-flash生成查询

在BIRD基准测试中，使用令牌替代姓名的Aura方案正确率为67.6%，与真实数据的68.2%差距仅0.6个百分点，而外泄个人信息从849条降至0条

BIRD是由香港大学联合Google等机构发布的文本转SQL基准测试集，包含脏数据、数值推理和外部知识依赖等现实挑战