分阶段训练

近期一项研究比较了嵌入式训练与分阶段训练两种数据驱动的闭环建模方法。

阶段间的贡献不可简单分解，不同阶段的目标可能相互冲突，导致模型在获得新技能的同时丢失旧知识。

论文提出分阶段训练策略：第一阶段正常训练所有层；第二阶段冻结循环层权重，仅更新注意力层及其他部分，以缓解竞争学习。

论文通过消融实验说明中期冻结循环层比全程冻结或晚期冻结更有效。

未来可将分阶段训练思路扩展到更复杂混合架构设计，如动态调整不同层的更新节奏或引入更精细的归因分析来指导训练策略。