SFT

大模型训练经历三个核心阶段：预训练、有监督微调（SFT）和偏好对齐

SFT阶段的学习率通常比预训练低1-2个数量级，以避免破坏预训练阶段学到的通用知识

继续预训练（CPT）后通常还需要再做一轮SFT才能恢复模型的对话能力，因为CPT可能会削弱模型在SFT阶段学到的指令遵循能力

SFT训练时模型只在assistant部分计算损失（损失掩码技术），即只学习如何回答，不学习如何提问

MYLLM项目覆盖了训练、LoRA微调、SFT、知识蒸馏、强化学习、多模态和Agent七个技术方向

现代大语言模型通常经历预训练、监督微调（SFT）和基于人类反馈的强化学习（RLHF）三个训练阶段

经过强化学习（RL）训练的模型在Agent任务中表现优于仅经过SFT的模型

教程基础篇涵盖Python快速入门、AI开发环境搭建、提示词工程，以及Transformer架构、预训练、SFT、RLHF等大模型核心原理

大模型核心原理包括Transformer架构、预训练、SFT监督微调、RLHF人类反馈强化学习等关键概念