概念mid-training
中期训练
在通用预训练之后、任务微调之前，使用特定领域或特定模态数据进行的大规模继续训练阶段，规模介于预训练与微调之间。
时间轴 (近 90 天)
10月31日
中期训练指在预训练与后训练之间插入的、使用大规模领域相关数据继续训练模型的阶段，与监督微调的区别在于数据规模更大、目标更偏向能力塑造而非任务对齐。
待验证50%
10月12日
O'Brien 等人同期研究发现，当使用中期训练教模型在指定上下文内失准行为可接受（用生造词 <quarantine_token> 标记），并用符合该格式的 SFT/RL 训练数据时，失准泛化可以降低，但没有超过接种提示的效果。
待验证50%