BERT新增分类类别：增量微调的三种策略与灾难性遗忘解法

问题的本质：分类头的固定维度

在机器学习社区中，一个高频出现的实际问题是：已经用BERT微调好了一个10分类模型，之后能否直接在此基础上追加15个新类别，扩展到25类？还是应该从一开始就声明全部25个类别，哪怕后15类的数据要等以后才能到位？

这个问题看似简单，实则触及了神经网络分类任务的一个核心机制——分类头（Classification Head）的维度是固定的。

BERT（Bidirectional Encoder Representations from Transformers）由Google于2018年提出，是基于Transformer架构的预训练语言模型。其核心是多层双向自注意力机制（Multi-Head Self-Attention），与早期的RNN/LSTM不同，自注意力机制通过计算序列中任意两个位置之间的相关性权重，能够在单次前向传播中同时捕捉一个词在上下文左右两侧任意距离的语义依赖，彻底突破了RNN的序列顺序限制。BERT的"双向"正体现于此——它不像GPT那样只能看到左侧上下文，而是让每个词的表示同时受整个句子所有词的影响。

在做下游分类任务时，BERT通常采用一个特殊的**[CLS]标记**策略：在每条输入文本的开头插入[CLS]（Classification）标记，经过所有Transformer层的双向注意力计算后，该标记对应的最终隐藏状态向量（维度一般为768维或1024维，分别对应BERT-base和BERT-large）被视为整个句子的压缩语义表示。其合理性在于：通过注意力机制，[CLS]的表示在训练过程中会被迫聚合全局语义信息以完成分类目标。随后，一个线性变换层（即分类头）将这个768维向量映射到目标类别数，权重矩阵形状为[hidden_size × num_classes]，偏置向量形状为[num_classes]。一旦num_classes固定，整个模型的输出空间就被锁死。一个训练好的10分类模型，最后一层输出维度就是10，无法在不修改网络结构的前提下直接预测第11到第25个类别。

类别扩展本质上是网络结构变更问题，而非简单的继续训练问题。 这正是这道难题的技术症结所在。

三种主流策略对比

针对这一场景，实践中主要有三种应对方案，各有适用条件与代价。

策略一：一开始就声明全部25个类别

如果能预知未来的类别范围，最简洁的做法是从一开始就将分类头设计为25维。即便前期只有10类数据，依然按25分类构建模型，后15类在初期训练时没有正样本。

优势在于结构统一、无需后期改动网络。但问题同样明显：长期没有数据的类别预测能力接近随机，甚至可能对已有类别的判别造成轻微干扰。若未来类别数量本身不确定，"预留席位"的方式就难以落地。

策略二：扩展分类头 + 继续微调

更符合"增量学习"直觉的方案：保留已训练好的BERT主体和原有10维分类头，在分类头上追加15个新输出神经元，扩展为25维。原有10类对应的权重直接复用，新增的15个神经元随机初始化，随后用新数据继续微调。

这一方案的关键在于训练数据的组织方式。若只用新增15类的数据微调，模型极易出现灾难性遗忘（Catastrophic Forgetting）——在学习新类别的同时急剧丧失对原有10类的识别能力，这是神经网络增量学习中最经典的顽疾。

策略三：全量数据重新训练

若计算资源和数据都允许，将全部25类数据混合，从预训练BERT重新完整微调一遍，往往能得到最稳定、最优的效果，也是大多数实践者推荐的首选路径。

代价是时间和算力，但它彻底规避了灾难性遗忘，让模型在所有类别上获得均衡优化。对于类别数量适中、数据总量可控的场景，这通常是最值得信赖的选择。

灾难性遗忘：增量学习的核心挑战

"灾难性遗忘"是决定增量微调能否成功的关键因素。这一现象由McCloskey和Cohen于1989年首次系统描述，是连接主义模型（Connectionist Models，即以神经网络为代表的分布式表示学习范式）的固有缺陷。其本质原因在于神经网络使用共享参数表示所有任务的知识：当模型在新数据上通过反向传播更新权重时，梯度下降会朝着最小化新任务损失的方向修改参数，而这些参数同时也是旧任务知识的载体。由于优化过程对旧任务毫无感知，旧任务赖以运作的权重配置被无差别覆盖。

这与人类大脑的记忆巩固机制截然不同。神经科学研究表明，人脑通过海马体-新皮质协同巩固（Hippocampal-Neocortical Consolidation）机制处理新旧知识的整合：新经历首先在海马体中快速编码，随后在睡眠期间通过"记忆重放"（Memory Replay）将关键信息逐步转移并整合进新皮质的长期记忆网络，且这一过程不会破坏已有的认知结构。人工神经网络缺乏这种双存储系统，所有知识混杂在同一套权重中，因此新旧任务之间存在根本性的参数竞争冲突。这一对照也直接启发了后来"数据回放"策略的设计思路。为此，学术界和工程实践发展出了以下几类缓解方法。

数据回放（Rehearsal）

最直接有效的手段：在微调新类别时，保留并混入一部分旧类别样本。旧类别样本的选取策略主要有三类：随机采样、基于特征空间的代表性样本选取（如K-means聚类中心附近的样本），以及生成式回放（用生成模型合成旧类别伪样本，无需存储真实数据）。研究表明，每类保留约20个样本即可获得明显的遗忘抑制效果。在BERT微调场景下，按旧新数据1:3至1:5的比例混合，能在不大幅增加训练时间的前提下有效维持旧类别性能。这实际上是策略二与策略三之间的折中——不需要全量重训，但通过"温故"来锁定旧知识。

正则化约束（EWC）

Elastic Weight Consolidation（EWC）由DeepMind研究团队于2017年发表在Nature上，其核心思想来自贝叶斯学习。从贝叶斯视角看，持续学习的目标是在观察到新任务数据D_new后，计算参数的后验分布：p(θ|D_new, D_old) ∝ p(D_new|θ) · p(θ|D_old)。其中p(θ|D_old)就是旧任务训练后的参数后验，它包含了所有需要保护的旧知识。EWC将这个后验近似为以旧参数θ*为均值的高斯分布，其协方差矩阵的逆由Fisher信息矩阵（Fisher Information Matrix）的对角元素近似给出。Fisher信息矩阵的第i个对角元素F_i，数学上等于损失函数关于第i个参数的梯度平方的期望值：F_i = E[(∂log p(y|x,θ)/∂θ_i)²]，它衡量的是"当第i个参数发生微小扰动时，模型在旧任务数据上的预测概率分布会发生多大变化"——变化越大，说明该参数越关键。

在新任务训练时，损失函数增加一个惩罚项：L_new + λ·Σ_i F_i·(θ_i - θ*_i)²，其中F_i是第i个参数的Fisher信息值，θ*_i是旧任务训练后的参数值。Fisher信息值越高，说明该参数对旧任务越关键，惩罚力度越大，参数就越难被修改。这相当于为每个权重配备了不同硬度的"弹簧"，在可塑性与稳定性之间寻求平衡。这类方法无需存储旧数据，适合数据隐私敏感或存储受限的场景，但其计算Fisher信息矩阵本身也需要在旧数据上进行一次完整的前向传播，在实际部署前需要提前完成并保存。

参数隔离与适配器（LoRA/Adapter）

随着PEFT（Parameter-Efficient Fine-Tuning，参数高效微调）技术的普及，一个更优雅的思路是使用Adapter或LoRA：冻结BERT主体，为不同类别集合训练独立的轻量级适配模块。

Adapter由Houlsby等人于2019年提出，其核心设计是在Transformer每层的多头注意力子层和前馈网络子层之后，分别串行插入一个小型瓶颈模块（Bottleneck Module）：先通过降维投影将768维隐藏状态压缩到较小的瓶颈维度（如64维），经过非线性激活后再升维还原，整个模块通常只有几千到几万个可训练参数，并采用残差连接确保初始化时不影响原模型行为。微调时只训练这些插入模块，BERT的原始权重完全冻结。

LoRA（Low-Rank Adaptation）则由微软研究院于2021年提出，采用更为优雅的矩阵分解思路：对原始权重矩阵W（如Query或Value投影矩阵）的更新量ΔW进行低秩分解，ΔW = A·B，其中A的形状为[d × r]，B的形状为[r × d]，秩r（通常取4到64）远小于原始矩阵维度d，参数量通常可压缩至原来的1/100以下。两者的关键工程差异在于：Adapter是串行插入额外的网络层，每次推理都必须经过额外的模块计算，会引入不可消除的推理延迟（在延迟敏感的在线服务中尤为不利）；而LoRA的低秩矩阵在推理部署前可直接与原始权重合并，W' = W + AB，合并后的权重矩阵形状与原始W完全相同，推理时不带来任何额外的计算开销和延迟，工程友好性更强，因而在大模型时代成为主流的生产部署方案。新增类别时只需训练新的适配器，几乎不影响原有能力，这种方式在多任务、持续学习场景中越来越受欢迎。

实践建议：如何选择适合自己的方案

综合以上分析，可以按以下决策路径来选择策略：

类别范围已知且数据将陆续到位：优先考虑一开始声明全部25类，或在数据齐备后进行全量重训。
算力充足、数据规模适中：直接用25类全量数据重新微调，简单可靠，效果最优。
必须做增量、无法访问旧数据：采用扩展分类头 + EWC正则化的方案，并尽可能保留少量旧样本做回放。
面临频繁的类别扩展：考虑基于LoRA/Adapter的模块化架构，从设计层面支持持续扩展。

值得特别强调：无论选择哪种方案，评估都必须覆盖全部类别。许多增量微调的失败案例，正是因为只在新类别上做了验证，而忽略了旧类别性能的悄然退化。

结语

"给分类模型增加新类别"这个看似日常的需求，背后牵涉网络结构变更、灾难性遗忘、持续学习等一系列深层议题。对于BERT这类模型而言，没有放之四海皆准的银弹——最佳策略始终取决于数据可获得性、算力预算以及类别扩展的频率。

在多数实际项目中，条件允许时全量重训依然是最稳妥的选择；而当业务要求真正的持续学习能力时，以LoRA/Adapter为代表的模块化PEFT方案则代表了更具前瞻性的演进方向。