灾难性遗忘

人脑通过海马体与新皮层的协同机制（互补学习系统理论）实现快速学习与长期记忆巩固的分离

灾难性遗忘问题最早在1989年由McCloskey和Cohen提出

持续学习是机器学习的一个子领域，研究如何让模型在持续接收新任务或新数据的同时不遗忘已有知识

灾难性遗忘（Catastrophic Forgetting）是神经网络在持续学习场景下的经典痛点，当网络在新任务上更新参数时会覆盖旧任务对应的权重分布，导致旧能力退化

灾难性遗忘现象由McCloskey和Cohen于1989年正式描述，指神经网络在学习新任务时往往覆盖旧知识

缓解灾难性遗忘的三类主要策略为基于正则化的方法（如EWC）、基于回放的方法（如Experience Replay）和基于架构的方法（如Progressive Neural Networks）

灾难性遗忘是神经网络领域的经典难题，早在1990年代研究者就发现神经网络在新任务上持续训练时旧任务性能会急剧下降

偶发性故障的内存条可能交替产生正确和错误的计算结果，导致神经网络训练中梯度计算偶发性偏差，影响模型收敛性且不触发硬件告警

若数据集较小而模型参数过多，模型可能过早记住训练数据并退化，可通过增加数据、使用 dropout 正则化或缩小模型规模缓解

若只用新增类别数据微调扩展后的分类头，模型极易出现灾难性遗忘，急剧丧失对原有类别的识别能力

灾难性遗忘指神经网络学习新任务时迅速覆盖旧知识，学界主流解决思路包括正则化方法（如EWC）、动态架构方法和回放方法

梯度方法在学习新任务时往往覆盖旧知识产生灾难性遗忘，而种群式进化系统天然维护解的多样性存档

直接使用连续相关的经验训练神经网络会导致灾难性遗忘和训练不稳定。

冻结全身控制器、只训练上层规划器可以避免端到端训练中常见的灾难性遗忘。

持续学习面临灾难性遗忘的经典问题：新知识可能覆盖旧知识。

在神经网络中，参数通过梯度下降共同编码多个任务的知识，当模型在新任务上训练时，梯度更新会大幅改变对旧任务至关重要的权重，而旧任务数据不再出现，导致模型逐渐忘记旧任务。

表征重组指的是任务目标改变时，网络内部表征空间结构发生系统性调整的现象，通常表现为维度重要性排序的快速翻转；它区别于灾难性遗忘，后者强调旧任务性能的丧失。

开发者公开了名为PNSN（Persistent Neural State Network）的实验性AI架构，通过参数模块化与可训练检索机制试图解决灾难性遗忘。

该框架通过按名称管理记忆（memory name 可自定义）的方式，在切换任务时避免灾难性遗忘。

轻量模型因参数少、计算开销低，更容易在机器人本体上实现快速在线微调，但同时也面临灾难性遗忘和稳定性风险。