NANO：AdamW下非干扰非对称更新，破解混合模型等终性

混合建模中，神经网络为过程基模拟器提供未解析参数，但观测数据往往只约束总量而无法约束内部划分，导致等终性（equifinality）问题——多种内部配置在观测聚合量上无法区分，却对机制给出截然不同的解释。近日一篇研究提出非干扰非对称网络优化（NANO），在AdamW优化器下实现辅助梯度与主目标梯度的真正非干扰，从而在保持拟合精度的同时，主动探索等终性空间。

等终性困境：观测总量下的内部不可见

研究以蒸散发（evapotranspiration）为例：总通量可观测，但其分解为蒸腾与蒸发两个分量却无法直接观测。这导致仅靠随机种子构建的模型集成只能覆盖数据允许的划分空间中很窄的一段。换句话说，模型们看似多样，实则对内部机制的探索严重不足。

等终性并非蒸散发独有，任何混合模型中只要观测约束的是聚合通量或储量而非内部划分，都会面临同样问题。此时，即便模型在观测上表现一致，它们对“同一数据对应何种机制”的回答可能大相径庭。

等终性（equifinality） 概念最早系统化于系统科学与水文建模领域，指的是不同的内部结构或参数组合能够产生相同的观测输出。在混合模型中，当观测数据仅约束聚合通量（如总蒸散发）时，模型内部的划分（如蒸腾与蒸发之比）存在大量等价解。这些解在观测层面不可区分，却对机制解释给出不同甚至矛盾的结论。等终性不同于参数不可识别性：前者强调模型结构层面的多解性，后者侧重参数估计的方差问题。在过程基模拟器与神经网络耦合的场景中，神经网络提供的未解析参数往往缺乏物理约束，加剧了等终性空间的维度膨胀。因此，评估模型不确定性时，仅依赖观测拟合优度是不够的，还需主动探索内部配置的多样性。

主动制造分歧：带斥力的辅助训练

为故意扩大等终性空间中的分布，研究者在训练时对蒸腾分量施加辅助斥力（repulsion），同时约束观测拟合不退化。这种思路的核心是：不满足于随机种子带来的自然差异，而是有方向地推动模型探索那些数据允许但尚未被覆盖的内部配置。

辅助斥力相当于在损失函数中增加一项，鼓励不同模型成员在蒸腾分量上相互远离。但必须保证主损失（对观测的拟合）不受损害，否则模型将失去对数据的解释力。

AdamW下的非干扰难题：梯度正交并不够

通常实现非干扰的思路是让辅助梯度与主梯度正交。然而研究指出，在AdamW优化器下，实际应用的更新步是经过预条件处理的动量方向，而非原始梯度。因此，原始梯度之间的正交性不再意味着更新步之间的非干扰。

这是一个关键洞察：许多在SGD时代有效的正交化技巧，在自适应优化器如AdamW下会失效。AdamW的预条件矩阵会扭曲梯度方向，使得原本正交的梯度在更新后产生交叉影响。

AdamW优化器是Adam的改进版本，核心变化是将权重衰减从梯度更新中解耦，变为独立的参数收缩项。AdamW维护每个参数的一阶矩（动量）和二阶矩（梯度平方的指数移动平均），并用二阶矩的平方根对动量进行逐坐标预条件，形成自适应步长。这种预条件使更新方向不再等同于原始梯度方向：不同坐标上的梯度被不同尺度缩放，导致原始梯度空间中正交的两个方向，经过预条件矩阵作用后可能不再正交。因此，在SGD下通过梯度正交化实现多任务非干扰的技巧，直接迁移到AdamW会失效。要保证辅助目标不干扰主目标，必须针对预条件后的动量方向重新设计投影或约束机制，这正是NANO的理论出发点。

NANO：精确非干扰的非对称更新

研究者提出NANO（Non-interfering Asymmetric Network Optimization），其更新具有三个特性：

• 对主损失的一阶效应与仅使用主目标时完全相同；
• 辅助步长有界，避免斥力过大破坏拟合；
• 斥力集中在主梯度“闲置”的坐标方向上，即主梯度本身不关注的维度。

这意味着NANO在数学上保证了辅助目标不会干扰主目标的优化轨迹，同时有效利用主梯度留下的自由度来探索等终性。所谓“非对称”体现在主更新与辅助更新的处理方式不同：主更新保持原样，辅助更新则被投影到不影响主损失一阶变化的方向上。

一阶效应不变是NANO非干扰性的数学表述核心：辅助更新对主损失的影响在无穷小步长下为零，即主损失沿辅助更新方向的方向导数为零。这通过将辅助更新投影到与主损失梯度正交的子空间来实现，但关键在于投影对象是AdamW预条件后的动量方向而非原始梯度。主梯度闲置坐标指主损失梯度接近零的维度，这些维度上主目标几乎没有约束力，辅助斥力在此处施加不会显著改变主损失。辅助步长有界则通过约束斥力项的范数或采用自适应缩放实现，防止在训练早期斥力过大导致模型偏离数据拟合区域。这三个特性共同保证了NANO在数学上严格非干扰，同时有效利用主目标留下的自由度。

启示：混合模型的不确定性需要主动设计

这项工作提醒我们，混合模型中的等终性不是靠随机种子就能充分暴露的。当观测约束不完整时，模型集成的多样性需要被主动设计。NANO提供了一种在AdamW框架下实现非干扰辅助训练的方法，使得在保持数据拟合的同时，有控制地探索内部机制空间。

对于地球系统建模、水文预报等依赖过程基模拟器与神经网络混合的领域，这一思路有助于更诚实地表达内部划分的不确定性，避免因集成多样性不足而低估机制层面的预测分歧。

未来，如何将NANO推广到更复杂的约束场景、以及如何评估所探索等终性空间的实际覆盖度，仍是值得关注的方向。