ROSE：风险感知正交子空间导航，破解多模态大模型终身知识编辑难题

多模态大模型（MLLMs）需要不断更新事实知识以保持时效性，但终身知识编辑（lifelong knowledge editing）始终是一个棘手的挑战。核心障碍在于严重的局部性侵蚀（Locality Erosion）和灾难性遗忘（Catastrophic Forgetting）：顺序进行的编辑难免会干扰预训练能力和先前的更新。针对这一问题，研究者提出了ROSE——一种风险感知的正交子空间导航框架（Risk-aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing）。

终身知识编辑的两大痛点

在真实部署中，多模态大模型需要持续吸收新事实，例如纠正过时信息或补充新出现的实体。理想情况下，每次编辑应该只改变与目标事实相关的参数，而不影响模型在其他输入上的行为。然而，现有方法在顺序编辑时往往会出现“按下葫芦浮起瓢”的现象：编辑新知识后，旧知识被意外覆盖，或者模型原本的通用能力出现退化。这就是局部性侵蚀与灾难性遗忘的共同作用。

ROSE的出发点很明确：将参数更新限制在先前已编辑子空间的正交补空间（orthogonal complement）中。从几何角度看，正交补意味着新的更新方向与旧更新方向“垂直”，从而在参数空间中最大程度避免相互干扰。这一思路为缓解遗忘提供了结构性的约束。

灾难性遗忘（Catastrophic Forgetting） 源于神经网络在顺序学习多个任务时的经典问题：当模型针对新任务（此处为编辑新事实）更新参数时，梯度更新会覆盖或扰动那些对旧任务至关重要的权重，导致旧任务性能急剧下降。在终身知识编辑场景中，每一次事实更新都可视为一个新任务，且编辑往往集中在参数空间中与目标事实相关的局部区域。若缺乏约束，后续编辑会持续侵蚀先前编辑所依赖的参数配置，造成旧知识丢失。ROSE通过正交子空间约束与风险掩码，在参数更新时显式保护先前编辑方向与敏感区域，从而缓解这一累积退化。

局部性侵蚀（Locality Erosion） 指编辑操作对目标事实之外的行为产生非预期影响的现象。理想的知识编辑应满足局部性：仅改变与目标事实相关的输出，而不影响模型在其他输入上的行为。然而，多模态大模型的参数高度耦合，一次编辑的梯度可能扩散到共享表示中，导致无关事实被意外修改或通用能力退化。顺序编辑会放大这种侵蚀：每次编辑的副作用在后续更新中叠加，使模型逐渐偏离原始行为。ROSE的正交补空间约束旨在将更新限制在与旧编辑方向垂直的子空间，从几何上减少对无关参数的干扰，从而保护局部性。

ROSE的核心机制：正交子空间与风险掩码

ROSE的框架包含两个关键设计。其一是正交子空间导航，通过约束参数更新方向来保护已编辑的知识。其二是风险引导机制（risk-guided mechanism），它动态计算一个风险掩码（risk mask），用于保护对模型稳定性至关重要的特定事实参数子空间。

单纯依赖正交约束可能过于刚性，因为某些参数子空间对模型的整体稳定性极为敏感，即使更新方向正交，也可能因数值扰动而影响模型行为。风险掩码的作用就是识别这些敏感区域并加以保护，在“允许编辑”和“保持稳定”之间取得平衡。这种风险感知的设计让ROSE在终身编辑场景下更具鲁棒性。

正交补空间（Orthogonal Complement） 是线性代数中的基本概念。给定参数空间中的一个子空间 ( \mathcal{S} )（在此场景下由先前编辑的更新方向张成），其正交补 ( \mathcal{S}^\perp ) 由所有与 ( \mathcal{S} ) 中每个向量都正交的向量组成。将新的参数更新投影到 ( \mathcal{S}^\perp ) 上，意味着更新方向与所有旧更新方向垂直，从而在欧几里得几何意义下不改变旧更新方向上的分量。这种约束能有效防止新编辑覆盖旧编辑所依赖的参数方向，是持续学习与知识编辑中缓解遗忘的常用手段。ROSE利用这一性质，将每次编辑的梯度限制在先前编辑子空间的正交补中，实现结构性的干扰隔离。

推理阶段的多粒度知识整合

编辑后的知识如何在推理时被精准激活，同样关键。ROSE采用多粒度知识整合策略，包含两个组件：原型锚定的语义门控（prototype-anchored semantic gating）和扰动驱动的子空间融合（perturbation-driven subspace fusion）。

语义门控负责判断当前查询是否与已编辑知识相关，原型锚定则提供了稳定的语义参考点，避免门控在分布外输入上误触发。子空间融合则通过扰动驱动的方式，将编辑后的知识更精确地注入到推理过程中。两者的共同目标是：对相关查询激活编辑知识，对无关输入则限制干扰。这正好呼应了终身编辑中“精准修改、广泛保持”的核心诉求。

语义门控（Semantic Gating） 是一种在推理时动态决定是否激活特定知识路径的机制。其核心思想是：模型内部维护一个门控函数，根据当前查询的语义表示与已编辑知识的匹配程度，输出一个权重（通常介于0到1之间），控制编辑后知识对最终输出的贡献。在终身知识编辑中，门控的挑战在于区分“相关查询”与“无关输入”：若门控过于宽松，无关输入会误触发编辑知识，造成干扰；若过于严格，相关查询又无法激活更新。ROSE采用原型锚定的语义门控，通过为每个编辑知识维护稳定的原型表示作为参考点，降低分布外输入导致的误触发风险，从而在精准激活与广泛保持之间取得平衡。

实验表现与稳定性

研究者在两个主流多模态基准上进行了全面实验。结果显示，ROSE在五项关键指标上与当前最先进方法相比具有竞争力，同时在超过1000次顺序更新后仍保持出色的稳定性。这一稳定性数据尤为关键——终身编辑的难点不在于单次编辑的效果，而在于长时间序列编辑后的累积退化。ROSE能够在上千次更新后维持稳定，说明其正交约束与风险掩码的组合在抑制遗忘方面确实有效。

代码已在 https://github.com/sunlitsong/ROSE 开源，为后续研究提供了可复现的基础。

对多模态知识编辑的启示

ROSE的价值不仅在于提出一个新框架，更在于它把“风险”显式引入知识编辑的决策过程。以往方法多关注如何定位和修改知识，而ROSE提醒我们：哪些参数区域“不能碰”同样重要。正交子空间导航提供了一种可扩展的几何约束思路，风险掩码则为敏感参数提供了动态保护。对于需要持续更新的多模态应用而言，这种兼顾编辑能力与模型稳定性的设计，指向了一条更可持续的技术路径。