监督微调

现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段

「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）

监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯

大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐

自监督学习是预训练阶段的核心范式，模型通过下一个词预测任务从数据本身构造训练信号

经过强化学习（RL）训练的模型在Agent任务中表现优于仅经过SFT的模型

业界探索的思考力度校准方向包括基于强化学习训练模型的元认知能力、通过监督微调学习推理深度分布、以及设计动态停止机制

SFT是一种用成对输入输出和交叉熵损失更新模型参数的对齐方法，不依赖奖励模型或偏好比较。

仅用单条参考流监督会限制模型轨迹多样性，可能降低答案准确率。

强化学习（RL）相比监督微调（SFT）复杂度和成本显著更高，但上限也更高。

监督微调（SFT）适用于分类、提取、摘要等定义狭窄的任务。

在生成虚假通知上进行监督微调，可以在“先评分后行动”的协议下减少对留出存档攻击的有害执行，但会带来模型相关的效用成本，且在没有评分诱导的情况下保护效果会减弱。

监督微调（SFT）优化的是模仿损失而非行为层面的安全目标，因此容易出现“在训练分布内有效、在分布外失效”的现象。

大模型安全对齐一般经过监督微调、基于人类反馈的强化学习以及独立的安全分类器层。

Together 提供的 Recipe 覆盖监督微调、DPO 和 GRPO 等后训练范式，并附带默认超参数和示例数据。

相比 SFT，RL 训练更不稳定、对超参更敏感，也更吃算力。

安全对齐通常通过监督微调与基于人类反馈的强化学习让模型学会拒绝有害请求，但这类训练多聚焦于请求的语义内容，较少显式建模措辞的社会属性。

强化学习在此类任务中通常指让模型对同一问题生成多个候选答案，再依据奖励信号强化得分高、抑制得分低的输出；奖励设计粗糙会诱发刷分行为。

研究团队将原始PDF文件转换为结构化的问答对，并以JSON格式存储，用于模型的监督微调

监督微调（SFT）往往比强化微调（RFT）带来更严重的灾难性遗忘