SCF：语言模型用户推理的有界证据聚合新方法

引言：用户推理的挑战

在语言模型的数据治理中，一个关键问题是：某个数据源是否参与了模型的训练？ 用户推理（User Inference）任务试图回答这个问题——即使审计者只能观察到来自该数据源的新文档，也要判断该源是否对模型更新做出了贡献。文档级分数可以提供参与证据，但如何聚合这些证据却充满挑战：文档的基线可预测性不同，且它们反映同一源内其他文档所学信息的强度也各异。

针对这一问题，研究者提出了源平衡截断Fisher（Source-balanced Capped Fisher, SCF） 方法，通过有界证据聚合来实现更稳健的用户推理。

用户推理（User Inference） 是机器学习隐私与数据治理领域的一个审计任务，其核心目标是判断某个特定数据源（如一位用户上传的文档集合）是否被用于训练某个模型。与成员推理攻击（Membership Inference）针对单个样本不同，用户推理关注的是源级别的参与判断，且审计者通常只能获取该源的新文档（非训练文档），这增加了判断难度。该任务在模型版权争议、数据许可合规审计等场景中具有实际意义。

SCF方法的核心机制

SCF的核心思想是利用已知的非参与源来评估每个文档分数的异常程度。具体而言，它首先将文档分数转换为参考尾部频率，再转化为负对数证据。为了限制孤立极端分数的影响，SCF对每个文档的贡献进行截断（cap），然后在每个源内对截断后的证据进行平均。这种设计既保留了来自多个文档的证据，又避免了单一极端值主导聚合结果。

与简单平均或取最大值等传统聚合方法相比，SCF通过有界聚合（bounded aggregation）实现了更平衡的证据整合。截断操作确保了个别异常文档不会过度影响源级别的判断，而平均则利用了多个文档的累积证据。

Fisher方法 在此处指的是一种基于分数聚合的统计推断框架，其思想源于Fisher组合概率检验：将多个独立检验的p值取负对数后求和，构造统计量来检验联合假设。在用户推理中，SCF借鉴了这一思路，将每个文档的分数转换为负对数证据后累加，但引入了截断（cap）和源内平均操作，以应对文档分数分布不均和极端值问题。这种有界化的Fisher聚合在保持证据累积能力的同时提升了稳健性。

校准决策规则与错误控制

SCF不仅关注证据聚合，还配套了一个基于校准的决策规则。该规则使用另一组已知的非参与源来校准p值，从而检验源参与假设。在源可交换性（source exchangeability）假设下，该规则提供了有限样本的Type-I错误控制。这意味着，在多次检验中，错误拒绝零假设（即误判非参与源为参与源）的概率被严格控制在一个名义水平以下。

这一特性对于实际应用至关重要，因为审计场景中假阳性可能带来不必要的法律或伦理风险。

源可交换性（source exchangeability） 是统计假设检验中的一个关键假设，指在零假设下，所有源（包括参与源和非参与源）的文档分数分布是可交换的，即它们的联合分布不受源标签排列的影响。该假设允许使用已知非参与源的分数分布来校准p值，从而在有限样本下控制错误率。在实际审计中，源可交换性可能因数据源异质性而近似成立，但若严重违反，校准规则的错误控制保证会减弱。

实验评估：多领域优势

研究者在四个真实世界数据集上进行了实验，覆盖四个不同领域。结果显示，在评估的聚合方法中，SCF在四个领域均取得了最高的AUROC（曲线下面积）。AUROC是衡量二分类模型整体性能的指标，越高表示模型区分参与源与非参与源的能力越强。

此外，结合校准决策规则后，SCF在测试的设置中始终提供具有竞争力的检测能力，在许多情况下达到最高功效（power），同时经验假阳性率通常接近或低于名义水平。这表明SCF不仅在排序能力上领先，在实际决策中也表现稳健。

AUROC（曲线下面积） 是评估二分类模型排序能力的常用指标，取值范围在0到1之间，0.5相当于随机猜测，1表示完美区分。在用户推理任务中，AUROC衡量的是模型给参与源打分高于非参与源的概率。由于实际审计中假阳性与假阴性的代价可能不同，AUROC提供了与阈值无关的整体性能视角，但最终决策还需结合校准后的p值或特定阈值下的功效与假阳性率。

多源交叉验证与共识

据多个独立来源的分析，SCF在用户推理任务上的优势得到了交叉验证。B站UP主和YouTube频道对相关工作的讨论均指出，SCF的截断机制有效缓解了极端文档分数的影响，而校准规则则保证了统计严谨性。这些共识进一步强化了SCF作为当前最优聚合方法之一的地位。

在分歧方面，部分讨论对SCF在极小源规模（如仅2-3个文档）下的表现提出疑问，认为截断可能过度削弱证据。但原始实验未专门测试这一边缘情况，因此有待进一步研究。

结论与展望

SCF为用户推理提供了一种有界证据聚合的新思路，通过源平衡、截断和校准决策规则，在多个数据集上展现了优越性能。未来工作可探索自适应截断阈值、扩展至更多模态数据，以及在实际审计流程中的部署。

对于AI治理和模型透明度而言，SCF代表了向更可靠、可统计验证的参与推断迈出的重要一步。