概念Curriculum SFT / 课程SFT
课程监督微调
借鉴课程学习思想的有监督微调方法,训练样本按难度或形式由易到难排列,使模型平滑过渡到目标分布
时间轴 (近 90 天)
11月2日
LARC的训练流程分为两个阶段:课程监督微调(curriculum SFT)与信息增益强化学习(information-gain RL)。
待验证50%
11月2日
课程SFT通过逐步将token级推理转换为隐式推理,提供从离散到连续的平滑过渡,避免模型直接跳入隐空间导致训练不稳定。
待验证50%
借鉴课程学习思想的有监督微调方法,训练样本按难度或形式由易到难排列,使模型平滑过渡到目标分布
LARC的训练流程分为两个阶段:课程监督微调(curriculum SFT)与信息增益强化学习(information-gain RL)。
课程SFT通过逐步将token级推理转换为隐式推理,提供从离散到连续的平滑过渡,避免模型直接跳入隐空间导致训练不稳定。