概念知识蒸馏 / Knowledge Distillation

模型蒸馏

一种模型压缩技术，通过将大型教师模型的知识转移到小型学生模型中，在保持性能的同时降低计算成本

核心事实

模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出

已验证65% 置信3 来源

时间轴 (近 90 天)

7月17日

模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出

已验证65%

来源文章

DeepSeek开源DeepSpec：推理加速60-85%的推测解码全栈工具库7月25日 Redis之父如何将2840亿参数DeepSeek塞进普通笔记本7月25日 GPT-5.6三模型实测对比：Sol/Terra/Luna选哪个？7月23日 Kimi K3开源大模型：蒸馏才是真正的机会所在7月22日 270亿参数大模型压进iPhone？端侧AI全参数运行技术解析7月21日 Claude Opus 5即将发布，阿里千问正式接入苹果智能7月21日 OpenAI五连发：Sol模型、桌面代理与实时翻译全解析7月20日 GPT-5.6 Sol深度解析：能力突破与失准隐患并存7月20日