学生模型
在知识蒸馏中被训练以匹配教师模型分布的目标模型，通过前向KL散度优化以覆盖教师分布的所有模式。
时间轴 (近 90 天)
该研究训练了三个学生模型，分别对应三对不同的教师组合（每对一个LRM和一个短答案模型），每个学生使用LoRA适配器微调，并在多个插值比例λ下保存适配器权重。
当教师模型增大而批评者保持小规模固定时，学生模型的质量反而下降，甚至出现训练崩溃。
蒸馏并非简单复制：学生模型容量有限，需要在数据配比、温度参数和损失函数上做权衡，同时警惕教师模型的错误被一并继承。
教师模型在物品空间输出概率分布，而学生模型在编码空间进行并行预测，两者空间不一致，无法直接对齐。
学生模型在推理时无需访问MoE内部路由，部署更灵活，这解释了为何能跨架构迁移。
攻击者可通过构造覆盖输入空间的查询集，用问题-答案对训练学生模型，使其在多数任务上逼近教师表现。
用教师模型生成训练数据会无声地转移教师的盲区、风格习惯和失败模式，学生模型会继承教师犯错的特定形状。
全部知识事实 (7)
该研究训练了三个学生模型，分别对应三对不同的教师组合（每对一个LRM和一个短答案模型），每个学生使用LoRA适配器微调，并在多个插值比例λ下保存适配器权重。
50%待验证当教师模型增大而批评者保持小规模固定时，学生模型的质量反而下降，甚至出现训练崩溃。
50%待验证蒸馏并非简单复制：学生模型容量有限，需要在数据配比、温度参数和损失函数上做权衡，同时警惕教师模型的错误被一并继承。
50%待验证教师模型在物品空间输出概率分布，而学生模型在编码空间进行并行预测，两者空间不一致，无法直接对齐。
50%待验证学生模型在推理时无需访问MoE内部路由，部署更灵活，这解释了为何能跨架构迁移。
50%待验证攻击者可通过构造覆盖输入空间的查询集，用问题-答案对训练学生模型，使其在多数任务上逼近教师表现。
50%待验证用教师模型生成训练数据会无声地转移教师的盲区、风格习惯和失败模式，学生模型会继承教师犯错的特定形状。
50%