SPIN优化器：为在线持续学习量身定制的稳定性-可塑性插值方案

在线持续学习（Online Continual Learning, OCL）要求模型在严格单遍约束下从非平稳数据流中学习，因而极易遭受灾难性遗忘。尽管已有研究从数据、架构和优化等角度探索了多种策略，但优化器往往直接沿用SGD、AdamW等通用方法。一篇最新论文提出了一种专为OCL设计的新型优化器SPIN（Stability-Plasticity INterpolation），通过显式解耦可塑性与稳定性，在多个OCL方法上取得了显著性能提升。

为什么通用优化器在OCL中不够用？

OCL的核心挑战在于模型需要从不断变化的数据流中持续学习新知识，同时不遗忘旧知识。这种“稳定性-可塑性”困境使得通用优化器难以直接胜任：SGD和AdamW并未针对单遍、非平稳的数据分布设计，其更新规则无法有效平衡快速适应与抗遗忘的需求。论文指出，优化动态与OCL需求之间存在新的联系——将Polyak-Ruppert平均视为“可塑性”的引擎，而Primal平均则作为“稳定性”的锚点。这一视角为设计专用优化器提供了理论基础。

Polyak-Ruppert平均是一种经典的参数平均技术：在优化过程中，不直接使用最后一步的参数，而是对历史迭代参数（或其后半段）取算术平均。理论表明，在随机梯度下降中，这种平均能降低梯度噪声带来的方差，使收敛更稳定，常被视为一种隐式正则化。在OCL语境下，论文将其对应为“可塑性”的引擎——因为它保留了模型对近期数据的快速适应能力，同时平滑了更新轨迹。Primal平均则指直接对原始参数序列进行平均，而非对偶或梯度空间。它更强调对历史状态的累积与锚定，因而被论文用作“稳定性”的锚点，帮助模型在单遍数据流中抵抗遗忘。两者的插值构成了SPIN平衡稳定性与可塑性的核心机制。

SPIN的设计思路：插值两条序列

SPIN的核心思想是通过在快速移动的“可塑性”序列和自适应的“稳定性”序列之间进行插值，显式地解耦可塑性与稳定性。具体而言，它维护两个参数序列：一个快速更新以捕捉新数据中的模式（可塑性），另一个则通过平均机制提供稳定的锚点（稳定性）。优化器在两者之间进行插值，从而在单遍学习过程中动态平衡新旧知识。这种设计使得SPIN能够作为现有OCL方法的“即插即用”组件——只需将方法产生的梯度作为输入，替换标准优化器即可。

理论支撑：隐式逆Hessian近似与Tikhonov正则化

论文从理论上证明了SPIN隐式地采用了逆Hessian近似，这提供了关键的Tikhonov正则化效果。在OCL中，由于每个样本仅出现一次，Hessian估计通常基于单样本计算，噪声极大。SPIN的隐式正则化能够阻尼这些噪声估计，从而缓解遗忘。这一理论分析不仅解释了SPIN的有效性，也将其与经典的二阶优化和正则化技术联系起来，为后续研究提供了可扩展的框架。

Tikhonov正则化是解决不适定问题的经典方法，通过在目标函数中加入参数范数惩罚（如L2正则）来约束解空间，使解更稳定、更唯一。在二阶优化中，它等价于在Hessian矩阵上加上一个正定项（如λI），从而改善条件数并抑制噪声放大。OCL中单样本Hessian估计噪声极大，直接求逆会导致参数更新剧烈波动；SPIN隐式引入的逆Hessian近似恰好起到了类似Tikhonov正则化的作用，阻尼了这些噪声方向，使更新更平滑，从而缓解灾难性遗忘。这一联系将SPIN与经典的岭回归、Levenberg-Marquardt方法等联系起来，为其有效性提供了理论解释。

实验结果：跨方法、跨设置的稳定增益

大量实验表明，用SPIN替换标准优化器后，多种OCL方法均获得一致且显著的性能提升。说个细节，这些增益在具有挑战性的无回放（rehearsal-free）设置和严格内存约束下依然成立。这意味着SPIN不仅适用于有回放缓冲的方法，也能在无法存储旧样本的场景中发挥作用，这对于隐私敏感或存储受限的实际应用尤为重要。

对OCL研究与实践的启示

SPIN的提出提醒我们，优化器本身的设计在持续学习中可能被长期低估。过去的研究多聚焦于数据回放、正则化或架构隔离，而SPIN表明，通过重新审视优化动态，可以在不增加额外内存或计算复杂度的前提下获得性能提升。对于实践者而言，SPIN的即插即用特性降低了采用门槛；对于研究者而言，它将优化器设计重新拉回OCL的核心议题，可能激发更多针对非平稳数据流的专用优化算法。

局限与未来方向

论文虽展示了SPIN的广泛有效性，但其在不同模态（如视觉、语言）和更复杂任务流上的泛化能力仍需进一步验证。此外，SPIN与基于回放的方法结合时的交互机制、超参数敏感性以及在大规模模型上的计算开销，都是值得探索的问题。未来工作或可围绕这些方向展开，进一步推动OCL优化器的发展。