LLM科学发现能力竟由训练数据中的「单次事实」决定

大语言模型能否做出真正的科学发现？这个问题一直悬而未决。一项新研究给出了一个出人意料的答案：模型发现能力的上限，可能早在训练数据中就被一种叫「单次事实」（monofact）的东西悄悄设定了。

什么是「单次事实」？

研究把训练语料中只出现过一次的事实性信息称为 monofact。传统观点认为，模型依靠海量、多样的数据获得泛化能力；但这项研究从「缺失概率质量」的角度提出，单次事实才是触发科学发现的钥匙。

直观理解：如果一个知识点在训练中被反复强化，模型倾向于把它当作常识记忆；而只出现一次的事实，反而迫使模型在推理时进行整合与迁移，从而产生新的组合。这正是科学发现所需的「连接不同信息」的能力。

「缺失概率质量」是信息论与统计学习中的一个概念，指在训练分布中，某些事件（如特定的事实组合或推理路径）由于出现频率极低，其概率质量几乎为零，从而在模型学习时被忽略或无法充分建模。当训练语料中大量事实仅出现一次时，这些事实对应的概率质量在经验分布中严重缺失，模型无法通过频率估计来可靠地记忆它们。这种缺失迫使模型在推理时依赖参数化知识进行组合与泛化，而非简单的模式匹配。因此，缺失概率质量视角解释了为何单次事实能激发模型的整合与迁移能力，而不是被当作常识直接存储。

实验设计：直接操控单次事实比例

作者没有停留在理论推演，而是在材料科学和监管基因组学两个领域直接操纵训练集中的单次事实比例。

• 覆盖两个开放权重模型家族
• 覆盖多种采样策略
• 覆盖不同推理预算

结果非常一致：单次事实越多，模型做出的发现也越多。这一规律在不同模型、不同采样方式、不同推理预算下都成立，说明它不是某种训练技巧的偶然产物。

开放权重模型家族指的是模型参数和架构公开可下载的预训练语言模型（如LLaMA、Mistral等），研究者可以在本地进行微调、推理和实验操控，而无需依赖闭源API。采样策略指在生成或推理过程中选择下一个词的方法，如贪婪搜索、束搜索、核采样（top-p）和温度采样等，不同策略影响输出的多样性与确定性。推理预算则指模型在推理时允许消耗的计算资源，例如思维链的步数、采样次数或最大生成长度。覆盖这些维度是为了验证单次事实效应是否具有普适性，而非特定配置下的偶然现象。

不是多样性，而是「稀有性」在起作用

一个自然的反驳是：单次事实多的数据集，往往本身就更丰富多样，所以提升可能只是多样性的功劳。研究专门做了进一步实验，确认这一关系无法仅用训练集多样性来解释。

换言之，真正起作用的不是「见过多少不同的东西」，而是「有多少东西只见过一次」。单次事实提供了一种独特的信息结构：它既给了模型线索，又没有给出足够强的重复模式，从而保留了推理空间。

跨领域迁移：配上领域内数据才有效

研究还测试了这种关系能否迁移到其他科学领域。答案是有条件成立：当单次事实与领域内数据配对时，跨领域的发现能力提升可以转移。

这提示了一个实用策略：如果想让模型在某个新科学领域表现更好，单纯增加该领域的重复性数据可能不如有意识地引入更多只出现一次的事实性内容，同时保留领域内的基础语料。

跨领域迁移在机器学习中通常指在一个领域（如材料科学）训练或调整的模型能力，能否应用到另一个领域（如监管基因组学）。这里的有条件成立意味着，单次事实带来的发现能力提升并非通用的元能力，而是需要与目标领域的基础语料结合才能激活。这是因为领域内数据提供了必要的术语、概念和推理范式，而单次事实则提供新颖的组合线索；两者缺一不可。若仅增加单次事实而缺乏领域锚点，模型可能无法将稀有信息与领域知识有效关联，迁移效果因而受限。

对模型训练与数据工程的启示

这项工作的价值在于把「科学发现能力」这一模糊概念，还原成了一个可以度量、可以操纵的数据属性。

对数据工程团队来说，这意味着在构建训练集时，除了关注规模、质量和多样性，还应关注单次事实率这一指标。对研究者来说，它提供了一个新的实验变量：通过调节单次事实比例，可以系统研究模型推理与发现行为的边界。

当然，单次事实率并非越高越好。研究识别出它是「关键因素」之一，而非唯一因素。如何在单次事实与重复强化之间取得平衡，仍是开放问题。