MoE路由遥测暴露隐私：专家选择泄露训练成员信息

当路由信息成为新的隐私攻击面

混合专家（Mixture-of-Experts, MoE）架构已成为大语言模型扩展参数规模的主流方案。在推理过程中，MoE模型会产生大量路由信息——即每个token被分配给哪些专家处理的决策数据。这些信息通常被记录下来，用于监控、调试、负载分析和安全审计等运维目的。

一篇新发布的arXiv论文《When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry》指出，这类看似无害的运维遥测数据，实际上打开了一个全新的隐私攻击面。研究者提出了一个核心问题：路由遥测是否能揭示某个样本是否被用于微调已部署的模型？答案是肯定的。

混合专家架构的核心思想是将一个大型神经网络分解为多个相对独立的"专家"子网络，并通过一个轻量级的路由器（router/gating network）决定每个输入token应由哪些专家处理。典型实现中，模型会从数十乃至数百个专家中激活少数几个（通常是top-2），这使得模型在推理时仅需激活总参数量的一小部分，实现了参数规模与计算量的解耦。Mixtral、DeepSeek^广告、Switch Transformer等前沿模型均采用此架构。路由决策本身形成了一种独特的"计算指纹"——同一输入在不同状态的模型中会触发不同的专家组合，这正是路由遥测能够携带信息的物理基础。

路由增强型成员推理攻击

论文的核心贡献是提出了一种路由增强型成员推理攻击（router-augmented membership inference attack）。传统的成员推理攻击主要依赖模型的输出端信号——比如预测的置信度、损失值等。而这项研究的创新在于，将传统输出端信号与聚合后的路由特征相结合。

具体做法是：攻击者先独立训练若干个"影子模型（shadow models）"，这些影子模型模拟目标模型的微调行为；然后基于影子模型学习一个成员分类器，再将该分类器应用于目标模型。路由遥测提供的额外维度信息，让攻击者能更准确地判断某个样本是否出现在训练集中。

跨架构、跨领域的一致性验证

研究在三种MoE架构和三个数据领域（共九种组合设置）上进行了验证。结果显示，相比一个本已很强的输出端信号集成基线，加入路由遥测后攻击效果在全部九种设置中一致提升：在1% 假阳性率（FPR）下，真阳性率（TPR）提升了2.7到9.4个百分点。这种一致性表明泄露并非偶然，而是MoE架构的一种结构性特征。

成员推理攻击（Membership Inference Attack, MIA）是隐私审计领域的经典攻击范式，最早由Shokri等人于2017年提出。其基本假设是：模型在训练集样本上的行为（如损失值更低、置信度更高）与在非训练样本上存在可区分的差异。影子模型方法是MIA的主流实现路径——攻击者训练多个结构相同、数据不同的影子模型，以模拟目标模型的训练过程，从而获得有标签的"成员/非成员"信号来训练分类器。本文的创新在于将路由激活模式作为额外特征维度引入这一框架，使得即便输出端信号差异微弱，路由端的模式差异也能为分类器提供互补信息。

泄露在多种微调范式下持续存在

一个值得警惕的发现是，这种隐私泄露具有极强的鲁棒性。研究者测试了多种常见的微调方式，泄露现象在以下场景中都持续可观测：

• 全量微调（full fine-tuning）
• 冻结路由器训练（frozen-router training）——即便路由器参数本身不参与更新
• LoRA（低秩适配）——目前最流行的参数高效微调方法
• 指令微调（instruction tuning）

更关键的是，攻击在信息受限的条件下依然有效：即便攻击者只能获得离散的专家选择结果（而非完整的路由权重）、受限的遥测数据，甚至只有单个影子模型，泄露依然存在。这大大降低了攻击的实施门槛。

机理分析：泄露来自隐藏表征而非路由记忆

这篇论文最有洞见的部分是其机理分析。直觉上，人们可能认为是路由器"记住"了训练样本，但研究证明泄露并不需要路由器特有的记忆。

真实的机制是：微调过程会把成员信息注入到模型的**隐藏表征（hidden representations）**中，而路由器相当于对这些隐藏表征做了一次投影——即便路由器的参数被冻结，它依然会把这部分成员信号"投射"出来并暴露在路由决策中。

换句话说，路由器本身是无辜的，它只是忠实地反映了底层表征中已经存在的、带有成员信息痕迹的差异。这解释了为什么冻结路由器训练也无法阻止泄露。

防御手段的局限

研究还测试了通过扰动遥测数据来缓解泄露的方法。结果颇为无奈：扰动只有在显著降低遥测数据保真度的情况下，才能减少这部分额外泄露。这意味着防御与遥测的实用价值之间存在直接的权衡——想保留路由信息用于监控调试，就难以彻底消除隐私风险。

隐藏表征（hidden representations）是指神经网络中间层对输入数据的向量化编码。微调过程本质上是在预训练表征空间上进行精细调整，使模型更好地适应特定任务或数据分布。研究表明，这一调整过程会在表征中留下统计意义上可区分的"记忆痕迹"——即训练样本的表征与未见样本的表征在分布上存在细微但稳定的偏差。路由器的工作原理是对这些隐藏表征做线性变换后取topK，因此它天然扮演了一个"表征探针"的角色：任何嵌入在表征中的信息都会被路由决策部分反映出来。这一机制与路由器自身是否被微调无关，解释了冻结路由器仍然泄露信息这一反直觉的实验结果。

差分隐私（Differential Privacy, DP）是目前机器学习训练阶段最成熟的隐私保护框架，通过在梯度或输出中注入校准噪声来提供可证明的隐私保证。然而本文的防御实验针对的是遥测数据的后处理扰动，而非训练阶段的DP保护。两种路径的根本区别在于：训练阶段DP直接抑制表征中成员信息的形成，而遥测扰动只是掩盖已经存在的信号。这意味着将差分隐私训练与遥测访问控制结合，可能是比单纯扰动遥测更具防御深度的方案——但DP训练通常以模型性能下降为代价，部署决策仍需权衡实用性与隐私风险。

对MoE部署的现实启示

这项研究把一个纯粹的运维信号转化为了隐私威胁，对实际部署MoE模型的团队有几点现实意义：

1. 遥测数据需要重新评估敏感性。路由日志不应被视为普通的运维数据，它承载了模型内部计算的视图，可能泄露训练数据的成员信息。
2. 参数高效微调并非隐私护城河。LoRA等轻量化微调方式同样会把成员信息留在表征中，不能依赖它来规避隐私审查。
3. 访问控制比数据扰动更可靠。既然扰动遥测的代价是损失其实用性，更务实的方案可能是对路由遥测施加严格的访问权限和审计控制，而非寄希望于加噪。

随着MoE架构在前沿模型中愈发普及，这类针对架构特性的隐私分析值得安全与合规团队持续关注。模型内部计算的任何可观测投影，都可能成为对手手中的信息来源。