NitiBench+：泰国法律问答基准如何解决法律时效性难题

法律问答的“时间陷阱”

法律不是静态的文本。一部法规可能被修订、废止或重新颁布，而法院判决只依据判决当日有效的法律。然而，现有法律问答基准通常用“今天”的法律来评判答案，这导致了一个根本性的错位：模型可能因为引用了过时或已废止的法条而被扣分，即便它在逻辑上完全正确。

一项针对泰国四个法院156,650份判决的分析揭示了问题的严重性：高达67%的判决引用了此后被修订或废止的法律。这意味着，如果直接用现行法律去评估这些历史判决，大多数答案都会被判为“错误”。正是基于这一发现，研究者推出了NitiBench+，一个覆盖17个领域、包含1,670个条目的泰国法律问答基准，专门用来衡量法律时效性对模型表现的影响。

基准设计：同时保留“当时法”与“现行法”

NitiBench+的核心创新在于时间维度的双轨制。对于每一个被引用的法条，基准同时保存两个版本：判决当日生效的文本，以及当前现行文本。检索语料库则收录了泰国每一部法律每一个条款的所有历史版本。这种设计让研究者能够精确控制变量，分别测量“用错法律文本”和“用对法律文本”对模型表现的影响。

评估体系结合了泰国律师委员会评分标准、Bar标准分以及引用法条与法院实际引用法条的重叠度（Citation F1）。基准分为两个部分：第一部分量化错误文本的代价，第二部分在正确文本设置下对当今模型进行排名。

第一部分：用错法律文本的代价有多大？

研究者在13个开放权重模型上测试了两种错误场景：读取被修订法律的现行文本，以及缺失已废止法律。结果显示，读取现行文本会使Bar标准分下降0.25，而缺失已废止法律则导致0.79的下降。更关键的是，这种惩罚主要来自规则变化——在428个规则变更条目上惩罚为0.45，而在331个仅措辞变化的条目上惩罚为零。Citation F1指标完全无法捕捉这一差异，说明传统的引用匹配度量会掩盖时效性错误。

这一发现直接指向一个结论：使用判决当日生效的法律文本才是公平的评估设置。否则，基准测的就不是模型的法律推理能力，而是它对法律变迁的敏感度——而后者本不该由模型承担。

Bar标准分（Bar Standard Score）是一种将模型输出与律师资格考试评分标准对齐的归一化指标，通常由法律专家根据答案的准确性、论证完整性和法条引用正确性进行打分，再转换为统一量纲以便跨模型比较。与之互补的Citation F1则是一种纯文本匹配指标，计算模型引用的法条与法院判决实际引用法条之间的精确率与召回率的调和平均。两者的关键区别在于：Bar标准分能捕捉“引用了正确法条但适用了错误版本”这类语义层面的错误，而Citation F1只关心法条编号是否出现在答案中，对法条内容是否随时间变化完全无感。正因如此，原文才强调Citation F1无法捕捉时效性错误带来的惩罚——它可能给一个引用了已废止旧法的答案打出满分，因为编号匹配本身没有错。

第二部分：当今模型在正确文本下的真实水平

在正确文本设置下，基准对26个模型进行了排名。测试集为500个按领域分层抽样的留出样本，同时发布了同构的验证集供公开使用。评估覆盖三种场景：仅凭记忆回答、提供法院引用的法条、以及作为检索代理在现行法律上检索。

结果呈现出明显的分层。最佳模型得分7.78（满分10），最佳开放权重模型为6.39。更值得关注的是检索工具的影响：在没有搜索工具的情况下，只有五个开放权重模型能回忆起任何泰国法律；而引入检索后，26个模型中有20个获得提升，6个反而下降。这表明检索并非万能药——部分模型可能因检索结果的质量或自身整合能力不足而受损。

排行榜还记录了每个条目的成本和幻觉引用情况，并承诺持续接纳新发布的模型。

开放权重模型（open-weight model）指模型参数可公开下载、允许用户自行部署和微调的模型，与只能通过API调用的闭源模型相对。这一区分在法律AI评估中尤为重要：闭源模型如GPT-4系列通常具备更强的多语言和长上下文能力，而开放权重模型（如Llama、Qwen、Mistral系列）在泰国法律这类低资源领域往往表现受限。原文提到“只有五个开放权重模型能回忆起任何泰国法律”，正反映了开放权重模型在非英语法律知识上的训练数据匮乏问题。此外，开放权重模型便于研究者复现评估和进行本地化微调，因此基准同时报告两类模型的排名，对推动法律AI的开放研究具有实际意义。

对法律AI的启示

NitiBench+的价值超出了泰国法律这一具体场景。它提出了一个普遍性问题：任何法律问答基准都必须追踪日期。当法律文本随时间变化时，静态基准会系统性地惩罚那些“当时正确”的答案，同时奖励那些碰巧与现行法一致的答案。

对于法律AI开发者而言，这意味着检索增强生成（RAG）系统需要具备时间感知能力——不仅要检索到相关法条，还要检索到判决时点有效的版本。对于基准设计者而言，双版本法条库和分时间点的评估设置应当成为法律领域的标准配置。

在正确的文本下，当今模型在泰国法律上仍存在明显差距。最佳模型7.78分、最佳开放权重模型6.39分的成绩说明，法律推理的准确性还有相当大的提升空间。而检索工具带来的分化效果则提醒我们，工具本身不解决问题，如何用好工具才是关键。

检索增强生成（RAG）系统在此处的“时间感知”需求，本质上是一个版本化检索问题。传统RAG将文档库视为静态快照，检索器只按语义相关性返回最匹配的段落；但在法律场景中，同一法条编号可能对应多个历史版本，语义相似度无法区分“2019年生效版”与“2023年修订版”。时间感知检索要求系统在索引阶段为每个法条版本附加生效时间区间元数据，在查询阶段根据判决日期或用户指定时点进行过滤，再对候选版本做相关性排序。这与软件工程中的“时态数据库”（temporal database）理念相通——数据不仅是当前值的集合，而是带时间维度的历史序列。缺少这一层设计，RAG反而可能因为检索到现行文本而引入时效性错误，这也是原文中6个模型在引入检索后表现反而下降的可能原因之一。