已验证75% 置信事实精确时间

模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能

3

来源数

75%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

318 tps推理速度意味着什么？大模型性能竞赛深度解析

涉及实体

模型蒸馏concept Hintonperson

相关事实

已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出77% 相似已验证模型蒸馏是一种将大型教师模型能力迁移到更小学生模型的技术，可能被用于扩散危险能力77% 相似已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型76% 相似待验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并76% 相似已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/891631

API

curl https://kongchang.com/api/v1/knowledge/claims/891631

MCP

get_claim(id=891631)