[控场AI]
· 4 分钟阅读· 2,220 字

对抗性多重性:模型选择操纵与披露的局限

对抗性多重性:模型选择操纵与披露的局限

模型预测多重性可被有动机方操纵,现有审计与披露政策难以防范。

文章介绍了一篇关于"对抗性多重性"的新论文。机器学习中性能相近的模型对同一个体给出不同预测,这一特性原本被视为可优化公平性等次要指标的空间,但论文指出它也为有动机的各方提供了操纵机会。操纵分为软操纵(在合法模型选择空间内调优)和硬操纵(直接扰动参数):硬操纵可逆转任何单个预测且能通过黑盒审计,软操纵效果较小却能通过白盒审计,颠覆了"白盒更严格"的直觉。聚合估计同样可被完全逆转,Reconcile 分歧调和算法在对抗性模型选择下反而偏向操纵者。论文建议通过预注册、训练证明、敏感性分析、多指标评估和版本化公开模型来压缩事后选择空间。

机器学习模型的预测多重性——即性能相近的模型对同一个体给出不同预测——原本被视为一种可以利用的特性,比如在不损失预测性能的前提下优化公平性等次要指标。但一篇新论文指出,这种多重性也为有动机的各方(包括为达成目标而"刷分"的编码智能体)提供了操纵空间,在诉讼或消费者纠纷等场景中,他们可以将预测导向对自己有利的方向。

对抗性多重性论文来源

软操纵与硬操纵:两种攻击路径

论文将对抗性多重性场景下的操纵分为两类。软操纵指当事方在无害的模型选择空间内优化,例如超参数调优、特征工程;硬操纵则指直接扰动模型参数。研究发现,一个足够灵活的模型可以被操纵到逆转任何单个预测,而预测性能的变化极小,并且能够通过黑盒审计——这意味着硬操纵在大多数监管环境下是可行的。

软操纵的效果相对较小,但能够通过要求完全访问代码和数据的白盒审计。这一发现挑战了"白盒审计更严格"的直觉:即便审计方能看到全部训练细节,软操纵依然可能蒙混过关。

黑盒审计与白盒审计是模型监管中两类不同深度的审查方式。黑盒审计只观察模型的输入输出行为,不接触训练代码、数据或参数,类似于仅通过问答来评估一个系统;白盒审计则要求完全访问代码、训练数据和模型权重,可以复现训练过程并检查每一处细节。直觉上白盒审计更严格,但论文的发现恰恰颠覆了这一点:硬操纵(直接改动参数)对预测性能影响极小,行为上难以与正常模型区分,因而能骗过只看行为的黑盒审计;而软操纵虽然效果较弱,却因为发生在超参数调优、特征工程等"合法"选择空间内,即便审计方看到全部训练细节,也很难判定某次选择是正常调优还是有意操纵。这说明审计深度与审计有效性并非简单正相关,关键在于审计能否约束模型选择的事后自由度。

聚合估计同样脆弱

操纵不仅影响个体预测,连聚合层面的估计也能被扭曲。论文给出了一个具体例子:气候变化对野火影响的模型估计,可以通过硬编辑和软搜索被完全逆转。这意味着依赖模型聚合结果的政策制定和科学研究,同样面临被有意操纵的风险。

模型聚合指将多个模型的预测或估计合并为一个总体结论,常见做法包括取平均、加权集成或元分析。聚合通常被认为比单一模型更稳健,因为随机误差会在平均中相互抵消。但这种稳健性依赖一个隐含前提:参与聚合的模型是独立、无偏地选出的。当各方能够有针对性地挑选或微调进入聚合的模型时,偏差不会被平均掉,反而会被系统性地放大——论文中气候变化与野火关系的例子正是如此。这提醒政策制定者和科研人员,聚合结果的可靠性不仅取决于单个模型的质量,还取决于模型集合的构成过程是否可审计、是否被预注册锁定。

Reconcile 算法与操纵者优势

论文考察了 Reconcile 算法——一种用于解决模型间分歧的方法。结果显示,该算法通常能解决大多数模型间的分歧,但当对立模型是被对抗性选择而非随机选择时,分歧解决结果更频繁地偏向操纵者。换句话说,只要对手有针对性地挑选模型,现有的分歧调和机制反而可能成为帮凶。

Reconcile 算法是一类用于调和多个模型间预测分歧的方法,其思路是通过迭代调整,使相互矛盾的模型在多数样本上趋于一致,从而产出更稳定的共识预测。在模型由随机或中立方式产生时,Reconcile 能有效消解大部分分歧。但它的工作机制隐含假设对立双方是无偏的:算法倾向于向"多数"或"更一致"的一方靠拢。当对手刻意挑选与目标模型对立的模型组合时,这种靠拢方向就会被对手预设,导致调和结果系统性偏向操纵者。这一现象在博弈论中被称为"策略性选择"问题,说明任何依赖模型集合的调和机制,都必须同时约束模型是如何被选入集合的。

现有监管与披露政策的盲区

研究梳理了哪些操纵手段有可能通过现行监管和披露政策。结论并不乐观:黑盒审计挡不住硬操纵,白盒审计挡不住软操纵,而对抗性选择模型又能影响分歧解决结果。披露政策所依赖的"透明即可信"假设,在对抗性多重性面前显得单薄。

缓解措施:从预注册到版本化模型

论文建议采取多项缓解措施:预注册(pre-registration),即在分析前锁定模型选择方案;提供模型训练证明;进行敏感性分析;采用多指标评估;以及承诺使用版本化的公开模型。这些措施的共同思路是压缩模型选择空间的事后自由度,让"挑一个对自己有利的模型"变得更困难、更可见。

对于构建自动化决策工具的团队而言,这项研究提醒我们:模型性能达标和通过审计,并不等于模型没有被操纵。在对抗性场景中,披露的边界需要重新划定。

预注册(pre-registration)源自实证科学研究,指在分析数据之前公开锁定研究假设、模型选择方案和评估指标,事后再报告结果,以防止"先看结果再挑方法"的事后自由度。在机器学习场景中,预注册意味着在接触测试数据前就固定模型架构、超参数搜索空间和选择准则,使"挑一个对自己有利的模型"这一行为留下可核查的记录。与之配套的敏感性分析则检验结论对模型选择、参数扰动是否稳健:若轻微改动就导致结论翻转,说明结果本身脆弱。版本化公开模型要求披露具体使用的模型版本及其训练证明,使外部方可复现和比对,从而把事后选择空间压缩到最小。这些措施的共同逻辑是:透明度必须作用于选择过程,而不仅是最终模型。

#对抗性多重性#预测多重性#模型操纵#黑盒审计#白盒审计#Reconcile算法#自动化决策#模型披露政策
分享:

相关推荐