LLM时间推理的真相：算术与语义二分法失效，知识记忆才是关键

时间推理常被视为大模型能力的重要维度，但一项新研究直接挑战了该领域长期默认的二分框架。论文《Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs》通过两组实验证明：当前基准测试并未清晰区分“时间算术”与“时间语义”，模型的表现很大程度上依赖对时间常识的记忆，而非可迁移的推理能力。

时间推理的二分假设：一个未经检验的共识

时间推理通常被拆解为两种模式：时间算术（日期计算、时长推算）和时间语义（理解时间关系与因果逻辑）。这一二分法深刻影响了基准设计、训练策略和评估方式，但其经验有效性从未被直接检验。研究者指出，如果该二分法成立，那么在同一模式内进行微调应能带来可迁移的性能提升。然而，实验结果并不支持这一预期。

迁移实验：微调收益高度依赖数据集

研究团队在多个时间推理数据集上分别进行微调，观察模型在同模式不同数据集间的迁移效果。结果发现，微调带来的提升主要局限在训练集本身（+6.8 至 +23.1 个百分点），而迁移到同模式的另一数据集时，增益范围仅为 -3.2 至 +1.1 个百分点。这意味着，模型学到的更像是特定数据集的表面模式，而非可泛化的时间算术或语义能力。跨越两个基准家族的迁移分析进一步表明，所谓“连贯的时间推理能力”缺乏证据支持。

构念效度（construct validity）是心理测量学中的核心概念，指一个测试是否真正测量了它声称要测量的心理构念。在LLM评估中，这转化为：基准分数是否真实反映了目标能力（如时间推理），还是被其他因素（如训练数据中的知识记忆）所混淆。一个基准若因知识泄漏而让模型通过记忆而非推理得分，其构念效度就受到威胁。本研究正是从构念效度角度质疑时间推理基准：如果分数主要由知识驱动，那么这些基准测量的可能不是“推理能力”，而是“时间常识的覆盖度”。构念效度不足会导致对模型能力的误判，进而影响训练策略和下游应用决策。

认知需求评估：知识而非推理驱动性能

第二组实验采用基于认知需求的模型评估方法，分析哪些能力真正驱动了基准表现。结果显示，被假定为时间算术和语义代理的定量推理与逻辑推理并非主要因素，知识才是核心驱动力。换言之，模型在时间推理基准上的高分，更多反映其对“时间通常如何运作”的记忆，而非实时计算或深度理解。

认知需求评估（cognitive demand evaluation）是一种通过分析任务所需认知能力来理解模型表现的方法。它通常将任务分解为多个认知维度（如知识回忆、定量推理、逻辑推理、工作记忆等），然后通过实验（如消融、干预或相关性分析）确定哪些维度对模型性能贡献最大。与传统的端到端准确率评估不同，认知需求评估试图揭示“模型为什么能做对/做错”，从而区分表面性能与深层能力。在本研究中，该方法被用来检验时间推理基准究竟依赖哪些认知成分，结果发现知识维度占据主导，而定量与逻辑推理的贡献有限。这为基准的构念效度提供了直接诊断工具。

对基准设计与模型评估的启示

这一发现对时间推理基准的构念效度提出质疑。如果基准奖励的是知识回忆而非推理过程，那么基于这些分数得出的能力结论可能被高估。研究建议，未来基准设计需更严格地控制知识泄漏，并区分记忆与推理的贡献。同时，训练策略也应重新审视：单纯增加时间相关数据未必能提升可迁移的时间推理能力，可能需要针对性地设计需要计算或逻辑推断的任务。

结语

该研究并非否定大模型具备时间推理能力，而是指出当前评估方式未能准确捕捉这种能力。算术与语义的二分法在概念上仍有价值，但实证上尚未在基准中得到清晰实现。对研究者和开发者而言，这意味着需要更谨慎地解读时间推理分数，并推动更严谨的评估方法。