已验证75% 置信事实精确时间
离线蒸馏中训练数据由教师模型一次性生成并固定，学生模型在静态数据集上学习
3
来源数
75%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
待验证输出蒸馏是直接用教师模型生成的对话、推理链等文本作为训练数据微调学生模型，无需访问教师内部参数79% 相似已验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并77% 相似待验证合成数据通常由一个强大的教师模型生成问答对、推理链或代码样本，再用于训练学生模型76% 相似待验证端点式策略蒸馏方法将教师模型RL训练前后log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。76% 相似待验证在知识蒸馏中，off-policy蒸馏使用教师模型生成的轨迹作为训练样本，存在教师访问状态分布与学生自身状态分布不一致的分布偏移问题。75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942906API
curl https://kongchang.com/api/v1/knowledge/claims/942906MCP
get_claim(id=942906)