SFT
监督微调（Supervised Fine-Tuning，SFT）是一种机器学习技术，指在预训练模型基础上，使用标注好的指令-响应对数据进行有监督训练，使模型学习遵循指令并生成符合预期的输出。在大语言模型对齐流程中，SFT是使模型具备对话和指令跟随能力的关键步骤，训练时通常仅对模型回复部分计算损失，以引导模型学习正确的回答模式。
核心事实
时间轴 (近 90 天)
SFT不是往模型里安装聊天模块，而是在概率分布上做一次大规模的重新加权，提高参考答案序列的概率。
SFT数据来源包括人类专家编写、普通标注人员编写、从已有文本整理、强模型生成再筛选（蒸馏）、真实用户问题脱敏整理、任务数据转换成自然语言指令等六条路径。
用强模型生成SFT数据（蒸馏）成本可从几十万美元降到几百美元，但存在误差继承（老师错了学生错得更自信）、风格趋同、合规风险三个问题。
SFT数据中的幻觉会被模型当作榜样学走，模型学到的是在相应位置自信编造的行为模式而非具体事实；SFT效果很大程度上取决于数据质量而不是数据数量。
ChatGPT能够成功的关键之一是SFT把提示工程的成本从每一个用户身上转移到一次训练里，使普通人不需要自己写提示词。
SFT的主要代价包括：数据标注成本高（尤其需要专家）、只能提供有限正确答案导致模型风格被少数标注者绑定、无法表达细微偏好排序（只有正样本无负样本）。
SFT通过统一的数据结构教会模型指令协议和'动词的词典'（如总结意味着压缩信息、翻译意味着保持含义更换语言），使模型理解语言在互动中的使用规则。
SFT有大量托管服务可选，而RL目前缺乏真正优秀的托管方案。
监督微调（SFT）适用于分类、提取、摘要等定义狭窄的任务。
在银行领域使用Whisper生成的伪标签时，GRPO相比SFT取得了29.3%到56.2%的相对WER改进。
还有 40 条时间轴事件
全部知识事实 (20)
现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段
90%已验证RLHF流程包含三步：训练奖励模型预测人类偏好分数、用PPO强化学习算法调整语言模型参数、通过KL散度约束防止模型偏离原有语言能力
90%已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）
80%已验证「后训练」（Post-training）是预训练完成后的对齐与能力强化阶段，通常包括SFT、RLHF及基于过程奖励模型的强化学习（如GRPO、DAPO）
80%已验证监督微调（SFT）使用'提示-回答'示例对模型进行训练，让模型学会以对话形式响应，从而使输出更连贯
75%已验证大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐
75%已验证领域微调通常先通过监督微调（SFT）注入领域知识，再经过基于人类反馈的强化学习（RLHF）对齐用户偏好
65%已验证SFT训练时模型只在assistant部分计算损失（损失掩码技术），即只学习如何回答，不学习如何提问
65%待验证大模型核心原理包括Transformer架构、预训练、SFT监督微调、RLHF人类反馈强化学习等关键概念
95%待验证继续预训练（CPT）后通常还需要再做一轮SFT才能恢复模型的对话能力，因为CPT可能会削弱模型在SFT阶段学到的指令遵循能力
85%待验证针对网络安全数据专门训练的专用模型有望在漏洞识别准确率和误报率上超越通用模型
70%待验证经过强化学习（RL）训练的模型在Agent任务中表现优于仅经过SFT的模型
70%部分验证从预训练检查点到可商用产品需经历监督式指令微调（SFT）和基于人类反馈的强化学习（RLHF）两个后训练阶段
65%待验证SFT微调有效但导致小模型通用知识下降，即灾难性遗忘现象，因小模型容量瓶颈突出
60%待验证一个典型的后训练流水线是：预训练 → 监督微调（SFT）→ 偏好优化（RLHF / DPO / GRPO）
60%待验证2018年BERT与GPT的出现开启了预训练+微调范式
60%待验证指令微调和RLHF强化了模型的指令跟随倾向，使其在提升任务能力的同时更易被外部指令误导
60%待验证SFT阶段的学习率通常比预训练低1-2个数量级，以避免破坏预训练阶段学到的通用知识
60%待验证SFT不是往模型里安装聊天模块，而是在概率分布上做一次大规模的重新加权，提高参考答案序列的概率。
50%待验证SFT通过统一的数据结构教会模型指令协议和'动词的词典'（如总结意味着压缩信息、翻译意味着保持含义更换语言），使模型理解语言在互动中的使用规则。
50%