LLM不知道自己知道什么：金融回测的时间边界困境

用大语言模型做金融回测，前提是模型对要预测的结果事先一无所知。否则，回测得到的"超额收益"不过是模型已经背下答案的考试。如何确认这个前提成立？业界通常依赖三种手段：信任厂商声明的知识截止日期、直接问模型它知道什么、或者要求模型"假装站在过去某个时点"作答。

一篇聚焦金融回测场景的研究用新基准 FinDendro 系统检验了这三种做法，结论颇不乐观：在大多数前沿模型上，模型的自我认知会显著低估自身知识——它知道的比它承认的多得多。

FinDendro：把"模型的知识边界"变成可测量的对象

研究团队构建的 FinDendro 基准收录了 1999 年至 2026 年间的 2,226 条带日期的美国事实，覆盖三类内容：月度宏观经济序列、月末股票价格、美联储议息决策。这些恰好是量化回测中最常用的数据类型。

每条事实被扩展为四类提示（prompt）：直接问答的价值题；把候选值与"我知道/我在猜"宣言配对的 Recall 题与 Predict 题（不带显式日期）；以及带历史声明日期的 Predict 题。为了排除蒙对的可能，实验设计了针对持续性与主导性结果的对照组，使随机猜测的正确率维持在 0.27 左右。

这种设计的关键在于把"模型是否知道"从主观陈述中剥离出来，变成可对照的行为数据——模型说什么并不重要，重要的是它在受控条件下答对多少。

知识截止日期（Knowledge Cutoff Date） 是模型厂商在文档中声明的训练数据时间上限，通常表述为"模型的知识截止于某年某月"。业界普遍将其视为模型能力的硬边界：理论上，模型对截止日期之后的事件应一无所知，因而在此之后的时间段做回测是安全的。然而这一假设存在两个隐患。其一，截止日期是厂商基于训练语料的时间分布做出的粗略声明，并非逐条事实的精确标注，语料中可能混入少量晚于声明日期的内容。其二，模型对"自己知道什么"的自我评估本身不可靠，即使某条事实晚于截止日期，模型也可能因训练数据泄漏或参数记忆而实际掌握。FinDendro 的研究正是从第二个隐患切入，用行为测量替代文档声明，检验声明边界与真实能力边界之间的错位程度。

核心发现：自我报告严重低估真实知识

实验结果中最具冲击力的数字来自 GPT-5：在受控事实上它答对了 76%，却只声称自己知道 38%。更微妙的是，在它明确表示"不知道"的事实中，仍有 61% 被答对。据论文数据，其他多数前沿模型同样呈现这一方向性偏差——自我报告系统性地低于实际表现。

这意味着"问模型知不知道"这种看似直观的校验手段，在金融回测场景中几乎无法提供安全保证。

研究还发现，知识声明可以越过实测的知识边界，最远延伸至七个季度之后。换言之，模型会在它实际上已经不具备可靠知识的时段里，仍然声称自己掌握相关信息。对于需要精确划定回测起止时点的从业者而言，七个季度的偏差足以让一段本应"干净"的回测窗口混入训练数据泄漏。

元认知（Metacognition） 在认知科学中指个体对自身认知过程的监控与评估能力，对应到大语言模型，则是指模型对"我知道什么、我不知道什么、我有多大把握"的自我判断能力。理想的元认知应使模型的自我报告与真实表现高度一致：说知道时就答对，说不知道时就答错。FinDendro 的 Recall 题与 Predict 题正是为测量这种一致性而设计——把候选值与"我知道/我在猜"的宣言配对，再对照实际正确率。结果显示，前沿模型的元认知存在系统性偏差：自我报告显著低于实际表现，即模型"低估"而非"高估"自己的知识。这与幻觉研究中常见的"过度自信"形成方向相反的偏差，说明模型对内部知识状态的访问既不精确，也不存在统一的偏差方向，不能简单用"校准"一词概括。

声明日期：消除了自信，却没消除知识

一个反直觉的结果是：当提示中显式声明历史日期、要求模型以过去的视角作答时，模型关于"事先知情"的声称大部分消失了，但准确率并没有随之改变。

这揭示了指令式控制的内在缺陷——模型改变的只是措辞层面的自我呈现，底层的事实记忆依然在起作用。要求模型"假装不知道"，并不能让它真的不知道。同样，厂商声明的知识截止日期也不足以作为回测无泄漏的证明：知识声明越界的存在，说明声明的边界与真实的能力边界之间存在系统性错位。

三者叠加起来的结论很明确：在模型训练窗口内部进行的回测，无法通过自我报告、指令约束或官方截止日期来获得"无泄漏"认证。

指令式控制（Instruction-based Control） 指通过提示词要求模型遵循某种角色或约束，例如"请假装你站在2020年1月，只使用当时可得的信息作答"。这类方法在回测场景中被广泛采用，其隐含假设是：模型能够按指令屏蔽训练中习得的后续知识。但 FinDendro 的结果表明，指令改变的是模型的措辞与自我呈现，而非底层参数中存储的事实记忆。模型在被告知历史日期后，减少了"我事先知道"这类声明，却仍能以相同准确率答出那些"未来"事实。这一现象与大模型研究中的"角色扮演不改变能力"结论一致：提示词可以调节输出风格，却难以真正切断已编码的知识。对回测从业者而言，这意味着"让模型假装回到过去"不构成泄漏防护，真正的隔离必须来自训练数据层面或事后的行为测量。

对量化实践的直接影响

这项研究对使用 LLM 做策略回测的团队提出了一个方法论层面的问题。传统回测的泄漏防范主要针对数据本身——确保价格、财务数据的时间戳正确、避免未来函数。而模型内部记忆构成了一种新型泄漏源，它不体现在数据管道里，也无法通过代码审查发现。

研究者给出的方向是行为测量：不依赖模型的自述，而是用受控问答实际测出模型在哪些时点、哪些类型的事实上具备可靠知识，再据此选择回测区间。FinDendro 同时提供了基准数据集与一套选取回测周期的流程，其思路是把"知识边界"当作需要通过实验标定的参数，而非可以从文档中查到的配置项。

对从业者而言，一个可操作的启示是：针对特定资产类别与宏观指标构造小规模的日期锚定问答测试，用实测正确率而非厂商声明来划定可信回测窗口。这类测试成本不高，却能避免将一个已经被模型"见过答案"的时期当作样本外验证。

前视偏差（Look-ahead Bias） 是回测中最经典的一类错误，指在某一时点的决策中使用了当时尚不可得的信息，从而使回测收益虚高。传统防范手段集中在数据管道：确保每一条价格、财务指标都带有正确的时间戳，避免把未来数据混入历史截面。FinDendro 揭示的是一种新型前视偏差——泄漏源不在数据文件里，而在模型参数中。模型在训练时"读"过的历史事实，会在回测中无声地影响其判断，代码审查和数据校验都无法发现。因此，防范这类偏差需要把模型本身当作需要审计的数据源：先测量模型在目标时段内对相关事实的掌握程度，再把回测窗口设在实测知识边界之外。这与传统前视偏差防范共享同一逻辑——决策只能使用当时可得的信息——只是把检查对象从数据表扩展到了模型内部。

更深一层的问题

这项研究触及的是大模型元认知能力的根本局限。模型对自身知识状态的报告并不可靠——不仅是不精确，而且偏差方向一致：倾向于低估。这与常见的"模型幻觉"叙事构成有趣对照：在事实问答上模型会编造，在自我评估上模型会谦虚，两者都说明模型缺乏对内部知识状态的准确访问能力。

对于金融这类对因果与时效极度敏感的领域，这一局限的影响被放大。回测的意义在于用历史检验策略在未知未来中的表现，一旦历史本身被模型记住，整个验证逻辑就失去了支点。研究者主张的行为化测量路径，本质上是在承认模型无法自我报告的前提下，重建一套外部可验证的知识审计方法。

在模型能力持续扩张、训练语料不断覆盖更多近期数据的背景下，这套审计流程恐怕会从可选的最佳实践变成必需的基础设施。