Spider
Spider是一个用于Text-to-SQL任务的大规模跨域基准测试数据集，旨在评估自然语言处理模型将自然语言问题转换为结构化SQL查询的能力。该数据集覆盖多个领域的数据库，包含复杂的多表连接查询场景，要求模型具备跨域泛化能力，是学术界和工业界衡量Text-to-SQL系统性能的重要参考标准之一。
核心事实
时间轴 (近 90 天)
Beaver是面向企业级Text-to-SQL的基准数据集，从真实企业数据库中采集，模式文档不完整、表名与业务术语存在较大语义鸿沟，比Spider等学术基准更贴近生产环境。
Spider 是跨库 Text-to-SQL 基准，输出高度结构化、模板重复度高，n-gram 命中率天然占优。
在 Spider 任务上，NgramRL 实测 rollout 吞吐相比同步版提升 1.38 倍，逼近 1.40 倍的 CPU-GPU overlap 理论上限。
在 Spider 结构化生成任务上，候选预算为 16 时，预取器覆盖了 Qwen3-8B 96.6% 的验证结果。
Spider是Text-to-SQL领域最广泛使用的跨域基准测试，包含约1万条自然语言问题与对应的SQL查询，覆盖多个数据库schema，原始Spider不涉及访问控制。
在 Spider 数据集上，schemagate 与同模型（Claude Sonnet 4.5）得分持平，均为 93.0；论文在 Spider 上的最佳成绩来自 DeepSeek V3.2-Reasoning，达到 95.9。
schemagate 在两个数据集上实际读取禁止列的查询数均为 0。
在Spider上，schemagate与论文最佳配置的AC-F1同为93.0，但schemagate误答率为5.1%，略高于论文的4.6%。
schemagate在BIRD和Spider两个数据集中均未出现读取禁止数据的SQL。
schemagate benchmark 的配对 McNemar 检验，Spider 上 p 值约 1e-49，BIRD 上约 1e-36。
还有 4 条时间轴事件
全部知识事实 (16)
Spider评测基准于2018年由耶鲁大学发布，包含超过10,000个自然语言问题和对应的SQL查询，覆盖200个数据库
85%待验证On the Spider benchmark, the accuracy of state-of-the-art models rose from under 20% in 2018 to over 80%
85%待验证IRNet和RATSQL等基于Seq2Seq和Transformer的模型在Spider基准数据集上取得了Text-to-SQL的突破
85%待验证GPT-4等大模型在Spider等基准测试上的零样本或少样本SQL生成准确率已超过80%
75%待验证在Spider基准上，早期单模型方案准确率约为70%，GPT-4等大模型将其提升到80%以上，多智能体协作策略的系统已能达到85%甚至更高的执行准确率
75%待验证主流Text-to-SQL方案依赖在WikiSQL、Spider等标准基准数据集上微调的模型
70%待验证Beaver是面向企业级Text-to-SQL的基准数据集，从真实企业数据库中采集，模式文档不完整、表名与业务术语存在较大语义鸿沟，比Spider等学术基准更贴近生产环境。
50%待验证在 Spider 结构化生成任务上，候选预算为 16 时，预取器覆盖了 Qwen3-8B 96.6% 的验证结果。
50%待验证在 Spider 任务上，NgramRL 实测 rollout 吞吐相比同步版提升 1.38 倍，逼近 1.40 倍的 CPU-GPU overlap 理论上限。
50%待验证Spider 是跨库 Text-to-SQL 基准，输出高度结构化、模板重复度高，n-gram 命中率天然占优。
50%待验证Spider是Text-to-SQL领域最广泛使用的跨域基准测试，包含约1万条自然语言问题与对应的SQL查询，覆盖多个数据库schema，原始Spider不涉及访问控制。
50%待验证schemagate benchmark 的配对 McNemar 检验，Spider 上 p 值约 1e-49，BIRD 上约 1e-36。
50%待验证schemagate 的 benchmark 条件：将 Spider dev 的全部 876 张表和 BIRD dev 放在同一个池子里，模型不知道问题属于哪个数据库，一张表必须全部出现在正确 SQL 用到的表集合中才算命中 top 5。
50%待验证在 schemagate 的 benchmark 中，Spider 数据集 1034 个问题上纯数学排序准确率为 80.3%，重排序后为 96.5%；BIRD 数据集 1534 个问题上纯数学排序为 88.6%，重排序后为 96.7%。
50%待验证衡量 NL2SQL 系统准确性的常用基准是 Spider 和 BIRD 数据集，Spider 测试跨域泛化能力，BIRD 更贴近真实企业数据库复杂度
50%待验证Spider爬虫工具用Rust原生编写，处理速度比同类产品快7倍
50%