概念continued pre-training
持续预训练
在通用基座模型上继续用领域语料进行自监督训练以注入领域知识，但不针对具体指令进行对齐的训练方式
时间轴 (近 90 天)
11月5日
对开放模型做训练通常涉及全参数微调、参数高效微调（如 LoRA）、持续预训练等技术路径。
待验证50%
10月28日
只需一次 QLoRA 持续预训练（CPT）运行，即可将耦合福祉倾向安装到模型上。
待验证50%
10月28日
研究者设置了一个「构造中性」的对照语料库，未显示出改善效果，说明性能提升来自语料内容本身而非 CPT 操作。
待验证50%
10月12日
对小语料库、知识密集型领域（如医疗、金融），持续预训练仍然有效、成本可控，而非必须直接进行全参数大规模重训。
待验证50%
9月6日
更新参数记忆需要微调或持续预训练，两者都需要额外的训练流程和计算资源
待验证70%
全部知识事实 (6)
待验证
更新参数记忆需要微调或持续预训练，两者都需要额外的训练流程和计算资源
70%待验证对开放模型做训练通常涉及全参数微调、参数高效微调（如 LoRA）、持续预训练等技术路径。
50%待验证只需一次 QLoRA 持续预训练（CPT）运行，即可将耦合福祉倾向安装到模型上。
50%待验证研究者设置了一个「构造中性」的对照语料库，未显示出改善效果，说明性能提升来自语料内容本身而非 CPT 操作。
50%待验证对小语料库、知识密集型领域（如医疗、金融），持续预训练仍然有效、成本可控，而非必须直接进行全参数大规模重训。
50%待验证继续预训练（CPT）是在通用基座模型上用领域语料进行额外的无监督训练，让模型吸收领域知识
50%