因果基础模型的单元级聚合为何破坏置信区间覆盖

因果基础模型（CFM）在个体处理效应估计上表现亮眼，但最新研究揭示了一个关键缺陷：当决策依赖于组级平均效应时，模型给出的可信区间严重失准。本文深入分析问题根源与改进方案。

单元级估计的虚假安全感

因果基础模型（Causal Foundation Models, CFMs）在基准测试中展现出竞争力的单元级处理效应估计能力。然而，许多实际因果分析并非关注单个单元，而是需要组级平均效应——例如全样本平均、处理组平均或子组平均。对于这类决策场景，CFM 的有用性完全取决于其可信区间是否经过校准。

研究团队系统检验了这些区间，发现无论是在简单的合成数据设置还是标准基准上，覆盖率的退化都普遍存在。以 ACIC 2016 数据集为例，经过温度校准的 CausalPFN 95% 区间在组规模超过 30 个单元（总样本 4802 个单元）时，覆盖率便低于名义水平；更严重的是，全样本平均效应的区间仅在 20% 的数据集中包含真实值——远低于 95% 的预期。

这种覆盖率的崩塌并非偶然误差，而是系统性问题。它意味着基于这些区间做出的决策可能面临比预期高得多的风险。

可信区间校准与覆盖率：在频率派统计中，一个 95% 可信区间（或置信区间）的“校准”意味着：如果重复采样并重建区间，大约 95% 的区间会包含真实参数值。这一比例即“覆盖率”。覆盖率低于名义水平（如 95%）称为“欠覆盖”，表明区间过窄，决策风险被低估。因果推断中，组级平均效应（如 ATE）的区间校准尤为重要，因为政策制定和资源分配常依赖区间是否包含零或某个阈值。单元级模型输出的预测分布若被简单平均，其区间宽度未必反映组级估计的真实不确定性，因此需要专门检验覆盖率而非仅看点估计误差。

问题根源：独立性假设与相关性误差

研究者将问题追溯到模型的训练方式和区间形成机制。CFM 一次输出一个单元的预测分布，在推理时简单地将单元级方差合并，仿佛不同单元的误差相互独立。

但研究从形式上证明，由于对数据生成过程的后验不确定性，这些单元级误差实际上是相关的。当合并方差时，如果忽略这种相关性，得到的组合方差会偏小，且偏小的因子随组规模增大而增长。经验上，这个因子能准确预测覆盖率在何处失效以及失效程度。

这一发现解释了为什么单元级估计看似准确，聚合后却问题频出：模型在个体层面捕捉到了不确定性，却未能传递到组级层面。

后验不确定性与误差相关性：贝叶斯模型对数据生成过程的后验不确定性，是指给定观测数据后，模型参数仍存在的分布。当 CFM 为每个单元输出预测分布时，这些分布共享同一后验，因此不同单元的预测误差并非独立，而是通过后验参数相互关联。例如，若模型低估了处理效应的整体均值，则所有单元的误差会朝同一方向偏移。这种正相关导致简单合并方差时低估了组均值的不确定性：组均值的方差不仅包含各单元方差之和，还包含两两协方差项。忽略协方差会使组合方差偏小，且偏小程度随组规模增大而加剧，因为协方差项数量随组规模平方增长。

改进方案：联合预测的神经过程模型

针对上述缺陷，研究团队测试了两种神经过程模型。与单元级独立预测不同，这些模型对一组单元进行联合预测，从而内生地考虑误差相关性。

实验结果显示，在合成任务上，联合预测模型显著提升了覆盖率；在全部六个基准上，作为冻结的 CausalPFN 之上的头部模型，它们同样大幅改善了覆盖表现。这表明，通过建模单元间的依赖结构，可以有效修复单元级聚合带来的区间失准问题。

神经过程与联合预测：神经过程（Neural Process）是一类元学习模型，能够从上下文数据中推断预测分布，并对任意查询点输出预测。与逐单元独立预测不同，联合预测神经过程对一组查询点同时建模其联合分布，从而显式捕获单元间的相关性。在因果推断中，这意味着模型输出的组级平均效应区间会内生地考虑单元误差的协方差结构，避免方差低估。将联合预测模型作为冻结的 CausalPFN 之上的“头部”，是一种模块化修复策略：保留原有单元级点估计能力，仅替换区间构建方式，以较低成本改善组级校准。

对因果推断实践的启示

这项研究对因果基础模型的部署提出重要警示：在依赖组级平均效应做决策时，不能盲目信任单元级模型输出的聚合区间。实践者应当关注区间校准问题，并考虑采用联合预测模型或进行后校准。

同时，该工作也指出了基础模型设计的一个方向：训练目标与推理聚合方式需要保持一致，否则单元级的高性能可能在组级决策中化为泡影。对于因果推断领域而言，这提醒我们，覆盖率的校准与点估计的准确性同样重要。