KierstonBench：大模型刑侦调查能力基准测试

大型语言模型正被考虑用于犯罪调查与大规模监控中的记录收集与分析，但其在这类工作中的能力与准确性目前无法衡量。真实部署缺乏评分模型结论所需的真实基准（ground truth），也没有基准在模拟环境中评估这些能力。为此，研究者提出了Kierston——一个城市级模拟引擎，以及KierstonBench——一个针对已知模拟事件测试上述能力的基准。

Kierston：城市级模拟引擎如何构建

Kierston模拟了宾夕法尼亚州阿伦敦（Allentown）约125,000名居民，生成他们的日常活动，以及监控与调查系统所收集的电信、金融、行政和车牌记录。这些记录源自共同的行为时间线，并分布在代表不同提供商的多个来源中。

这种设计的巧妙之处在于：所有记录都从同一个行为时间线派生，因此可以确保跨来源数据的一致性，同时模拟了现实中数据分散在不同提供商手中的情况。模型通过受限的记录接口进行调查，在无法访问底层模拟的情况下跨来源链接观察结果。这既保证了基准的可评分性，又保留了真实调查中信息不完整的挑战。

Ground truth（真实基准） 在机器学习评估中指代已知正确答案的参照数据。在犯罪调查场景中，ground truth 意味着我们确知谁是罪犯、谁与谁有联系、事件如何发生。真实部署中，调查结论往往无法验证——案件可能未破、证据可能缺失、真相可能永不明朗，因此无法用真实数据评分模型。Kierston 通过模拟生成居民行为时间线，使得每个事件、每条记录、每个人物关系都有确切的生成来源，从而为每个任务提供了可验证的 ground truth。这是该基准能够量化评估模型能力的根本前提。

记录接口（restricted record interface） 是 Kierston 中模型与模拟环境交互的受限通道。模型无法直接访问底层模拟数据或完整数据库，只能通过类似真实调查中调取记录的方式，按需查询电信、金融、行政、车牌等特定来源的记录。这种设计模拟了现实中调查员面临的信息壁垒：数据分散在不同提供商手中，需要跨来源链接和推理。同时，接口限制了模型可获取的信息范围，确保评估的是模型的调查推理能力，而非对模拟数据的直接读取能力，从而保证基准的可评分性和公平性。

KierstonBench：32个任务家族覆盖四大能力

KierstonBench包含32个任务家族，覆盖记录链接、日常轨迹重建、事件调查和欺骗性陈述评估。这些任务直接对应刑侦与监控场景中的核心能力：

• 记录链接：将分散在不同来源中的同一人物或事件关联起来；
• 日常轨迹重建：从零散记录中还原个人的日常活动模式；
• 事件调查：围绕特定事件整合多源证据；
• 欺骗性陈述评估：识别虚假或误导性陈述。

基准使用已知的模拟事件作为评分依据，这是真实部署无法提供的优势——在真实场景中，调查结论的正确性往往无法验证。

十六款模型的表现：多数无法胜任

在针对十六款语言模型的评估中，大多数模型无法执行记录调查，并提交了记录并不支持的识别结论。这意味着它们给出的答案缺乏证据支撑，在真实刑侦场景中可能造成误导。

少数前沿模型解决了大部分任务，并在证据不足时选择弃权（abstain）——这种知道何时不回答的能力同样重要。然而，即便这些模型在某些情况下仍会落入常见的欺骗和假设陷阱，且没有任何模型能够替代调查员。

这一结果揭示了大模型在刑侦与监控任务中的现实定位：它们可以作为辅助工具，但距离独立承担调查工作仍有明显差距。对于考虑部署此类系统的机构而言，KierstonBench提供了一种可量化的评估手段，帮助判断模型在具体任务中的可靠性边界。

弃权（abstain） 在评估中指模型在证据不足或不确定时选择不给出结论，而非强行猜测。在刑侦与监控场景中，弃权是一种关键的安全行为：错误的识别结论可能导致误判或侵犯无辜者权益。KierstonBench 将弃权作为可评估的行为维度，要求模型在记录不支持结论时明确表示无法判断。少数前沿模型表现出这种能力，说明它们能识别证据边界；但即便这些模型仍会落入欺骗陷阱，表明弃权行为尚未被系统性地可靠训练。这一维度为模型可靠性评估提供了新视角。

为什么这个基准值得关注

刑侦与监控领域对AI的应用需求真实存在，但缺乏可量化的能力评估一直是瓶颈。Kierston与KierstonBench的组合，首次在模拟环境中为这类能力提供了可重复、可评分的测试框架。其城市级规模和跨来源记录设计，使其比简化测试更接近真实调查的复杂度。

对于AI研究社区而言，这个基准也提出了一个值得深思的问题：当模型在证据不足时弃权、在证据充分时给出结论，这种能力能否被系统性地训练和提升？KierstonBench的32个任务家族为回答这一问题提供了实验基础。