知识蒸馏
一种模型压缩技术，将大型教师模型的知识迁移至轻量级学生模型，通过软标签传递类别间语义结构信息，分为基于logits、基于特征和基于关系三类方法
核心事实
时间轴 (近 90 天)
“用强模型调通流程再训练小模型”是知识蒸馏思路在Agent场景的延伸，若顺序颠倒（先训模型再改流程）往往意味着数据全部作废、重新训练。
知识蒸馏中，学生模型规模越小，准确率下降越明显。
微调与蒸馏让较小模型在特定任务上逼近大模型，但收益具有任务局部性，分布外输入退化更快
剪枝（去除冗余参数）和知识蒸馏（用大模型指导小模型训练）是与量化配套的模型压缩技术，共同构成物理AI从云端训练到边缘推理的工程桥梁。
二值化会带来显著的精度损失，且训练不稳定，因此常与知识蒸馏、多阶段训练结合使用。
知识蒸馏的关键局限在于它传递的是输入-输出映射，而不是模型内部的推理机制。
传统知识蒸馏采用off-policy方式，让学生模仿教师在固定数据集上的输出分布，导致暴露偏差（exposure bias）。
研究的关键设计在于让学生模型不仅模仿教师的查询，还以结构化草稿本的形式复现教师的信念状态。
LSA 提供两个变体：Distilled-LSA（D-LSA）通过蒸馏将 LSA 能力注入已预训练模型，无需从头训练；Native-LSA（N-LSA）在仅使用下一 token 损失的条件下原生训练，不依赖蒸馏信号。
用强模型生成SFT数据（蒸馏）成本可从几十万美元降到几百美元，但存在误差继承（老师错了学生错得更自信）、风格趋同、合规风险三个问题。
还有 40 条时间轴事件
全部知识事实 (20)
知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果
90%已验证知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型
90%已验证知识蒸馏最早由Hinton等人于2015年提出
90%已验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
80%已验证模型蒸馏（Knowledge Distillation）是将大型模型的知识迁移至小型轻量模型的技术，可在参数量缩减数十倍的同时保留大部分性能
80%已验证模型蒸馏由Hinton等人于2015年系统化提出，核心是将大模型的暗知识转移给小模型，使用软概率分布作为监督信号
80%已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列
75%已验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%
75%已验证蒸馏训练的教师模型输出极少包含自我纠错示例，导致学生模型形成「强模型不犯错」的隐性信念，在校验失败时选择重复而非修正
75%已验证Flash系列模型通过知识蒸馏自Pro或更大规模的Ultra模型来获得能力
75%已验证模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗
75%已验证知识蒸馏由Hinton等人提出，让学生模型通过学习教师模型输出的软概率分布继承隐性知识
70%已验证推理优化是降低AI单位使用成本的核心技术方向，常见手段包括模型量化（用INT8/FP8等更低精度表示权重以减少显存占用和计算量）、知识蒸馏（用大模型指导小模型）、KV缓存复用与批处理（合并请求提升GPU利用率）、投机解码（用小模型草拟、大模型校验以加速生成）。
65%已验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%已验证若数据集较小而模型参数过多，模型可能过早记住训练数据并退化，可通过增加数据、使用 dropout 正则化或缩小模型规模缓解
65%已验证量化、知识蒸馏、算子融合等压缩技术叠加使用后，推理速度通常能提升2-4倍
65%已验证量化是一种模型压缩技术，将模型参数从高精度浮点数降低到更低位数的整数表示
65%已验证端侧AI指将机器学习模型的推理过程直接在终端设备上完成，而非上传至云端服务器处理，需通过模型压缩和硬件加速弥补算力差距
65%