永久与瞬态表示：破解持续强化学习稳定性与可塑性难题

持续强化学习（Continual Reinforcement Learning, CRL）的核心矛盾在于稳定性与可塑性的权衡：智能体既要快速适应新环境，又要不遗忘旧知识。传统方法往往顾此失彼，而一项新研究从互补学习系统出发，提出用参数化与非参数化表示分别服务长期泛化与短期适应，在图像任务和Craftax-Classic上验证了其有效性。

稳定性与可塑性：持续强化学习的根本矛盾

在持续强化学习中，智能体面临一个两难：如果过度依赖新数据更新模型，旧任务的表现会迅速退化（灾难性遗忘）；如果固守已有知识，则难以适应新情境。这种稳定性与可塑性的权衡，一直是阻碍智能体在开放世界中持续学习的瓶颈。

互补学习系统（Complementary Learning Systems, CLS）理论为这一难题提供了启发：生物大脑中，海马体负责快速编码具体经验，而新皮层则通过缓慢的统计学习形成泛化知识。Anand与Precup（2023）将这一思想引入强化学习，用永久价值函数（permanent value function）和瞬态价值函数（transient value function）分别对应长期学习与快速适应。然而，他们的实现中两个系统使用了相同的特征表示，这在一定程度上削弱了互补优势。

灾难性遗忘（Catastrophic Forgetting）指神经网络在学习新任务时，参数更新会覆盖先前任务所依赖的权重，导致旧任务性能急剧下降。这一现象在强化学习中尤为严重，因为数据分布随策略变化而不断漂移，且环境交互样本高度相关。常见缓解手段包括经验回放（保存并重放旧数据）、正则化（约束重要参数的变化）、以及动态扩展网络容量。持续强化学习正是在此背景下被提出，要求智能体在单一模型上顺序学习多个任务而不遗忘。

参数化 vs 非参数化：让两个系统各司其职

新研究的关键洞察在于：长期学习应更多依赖参数化表示，以实现广泛的泛化；而瞬态学习则更适合采用非参数化表示，以快速捕捉情境特定的细节。参数化模型（如神经网络）在慢速学习过程中逐渐压缩出抽象特征，但更新代价高；非参数化方法（如基于实例的检索）无需训练即可快速适应新情况，却难以泛化。

作者从理论和实验两个层面探索了这一设计。理论上，他们分析了两种表示在偏差-方差权衡上的差异；实验上，他们提出了一种新颖的非参数化近似方法，用于在复杂任务中估计瞬态价值函数。这种方法无需对瞬态系统进行梯度更新，而是通过检索相似的历史经验来快速响应，从而实现了在线学习。

非参数化方法在持续学习中通常指不依赖梯度训练即可做出预测的模型，典型代表是基于实例的检索（instance-based retrieval）和最近邻方法。其优势在于：新样本只需存入经验池即可立即参与推理，适应速度快、无需反复训练；缺点则是存储与检索开销随样本量线性增长，且对高维输入的相似度度量较为敏感。与之相对，参数化表示（如神经网络权重）在训练后能将知识压缩为固定维度的向量，泛化能力强、推理成本低，但更新代价高且容易覆盖旧知识。两者在偏差-方差权衡上恰好互补：参数化模型偏向低方差、高偏差，非参数化方法偏向低偏差、高方差。

实验验证：图像任务与Craftax-Classic上的优势

在图像输入的任务和Craftax-Classic环境中，该方法展现出优于竞争基线的性能。Craftax-Classic是一个基于像素的复杂生存游戏环境，对智能体的感知和决策能力要求较高。实验结果表明，将永久价值函数与瞬态价值函数分别搭配参数化和非参数化表示，能够显著提升在线学习的效率，并缓解稳定性-可塑性冲突。

这一结果与多项独立分析形成交叉验证：据B站UP主和YouTube频道对互补学习系统的讨论，系统级分解——而非单一模型的统一更新——是提升持续学习鲁棒性的关键。同时，也有研究者指出，非参数化方法的计算开销随经验池增长而上升，在实际部署中需权衡检索效率。尽管如此，该研究为持续强化学习提供了一条可扩展的架构思路。

Craftax-Classic 是基于 JAX 实现的 Crafter 风格生存游戏环境，智能体仅从像素观察中学习采集资源、维持生命值和探索地图等技能。相比 Atari 等基准，它更强调长程规划与稀疏奖励下的探索，且环境随机性强，对持续学习中的快速适应能力构成更严格的考验。该环境常被用于评估样本效率与泛化能力，因此成为检验永久/瞬态价值函数分解是否有效的合适试验场。

对持续学习架构的启示

这项工作的价值不仅在于性能提升，更在于它明确了表示分离的必要性。以往许多持续学习方法试图用同一个网络兼顾稳定与可塑，而该研究证明，将长期泛化与短期适应解耦，分别交由参数化和非参数化系统处理，能更接近生物大脑的互补学习机制。

当然，该方法仍有局限：非参数化瞬态系统的经验存储与检索成本随任务数量增长，长期运行的可扩展性有待进一步验证。此外，目前只在图像任务和Craftax-Classic上测试，向更复杂、高维的连续控制任务扩展是未来方向。但无论如何，这项研究为持续强化学习的架构设计提供了新的原则：表示形式应与学习的时间尺度相匹配。