Hinton
杰弗里·辛顿（Geoffrey Hinton），英裔加拿大计算机科学家，人工智能与机器学习领域的奠基人之一。长期致力于神经网络与深度学习的基础研究，在反向传播算法的推广应用及深层神经网络训练方法上做出开创性贡献。曾任职于多伦多大学及谷歌，是推动深度学习进入主流人工智能研究的核心学者，获图灵奖等多项重要学术荣誉。
核心事实
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
反向传播算法由Rumelhart、Hinton等人于1986年在《Nature》上发表的论文中系统化
模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签
时间轴 (近 90 天)
模型蒸馏（Model Distillation）是一种模型压缩与知识迁移技术，最早由Hinton等人在2015年提出。
快权重概念可追溯到1990年代Hinton与von der Malsburg提出的快速权重联想记忆，以及Schmidhuber的线性Transformer工作。
1986年，Rumelhart、Hinton与Williams在《Nature》杂志发表了论文《Learning representations by back-propagating errors》
论文署名者包括Anthropic联合创始人Jack Clark和OpenAI首席科学家
Hinton 在 2022 年提出前向-前向算法（Forward-Forward Algorithm），用两次前向传播替代一次前向加一次反向传播，分别处理正样本和负样本
模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能
玻尔兹曼机由Hinton和Sejnowski在1985年提出，其状态概率分布遵循玻尔兹曼分布 P(x) ∝ exp(-E(x)/T)
知识蒸馏最早由Hinton等人在2015年提出，DiffusionGemma创造性地将其用于步数压缩，教师模型用较多步数（如48步）生成，学生模型用更少步数（如12步）达到相近质量
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
全部知识事实 (20)
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
90%已验证反向传播算法由Rumelhart、Hinton等人于1986年在《Nature》上发表的论文中系统化
90%已验证模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签
90%已验证知识蒸馏由Hinton等人于2015年提出，原指用大模型的软标签输出训练小模型
90%已验证知识蒸馏最早由Hinton等人于2015年提出
90%已验证知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
80%已验证反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及，其数学核心是链式法则
80%已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证MoE架构最早由Jacobs等人在1991年提出，近年来被Google的Switch Transformer和Mixtral等模型重新带入主流
80%已验证2012年，Hinton团队的AlexNet在ImageNet竞赛中以压倒性优势夺冠
80%已验证模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能
75%已验证知识蒸馏最早由Hinton、Vinyals与Dean于2015年在Google提出，核心思想是让小型学生模型学习大型教师模型输出的软标签
75%已验证模型蒸馏由Hinton等人于2015年系统化提出，核心是将大模型的暗知识转移给小模型，使用软概率分布作为监督信号
75%已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
70%已验证混合专家（MOE）架构最早由Hinton等人在1991年提出
65%待验证模型蒸馏（Model Distillation）是一种模型压缩与知识迁移技术，最早由Hinton等人在2015年提出。
50%待验证快权重概念可追溯到1990年代Hinton与von der Malsburg提出的快速权重联想记忆，以及Schmidhuber的线性Transformer工作。
50%待验证1986年，Rumelhart、Hinton与Williams在《Nature》杂志发表了论文《Learning representations by back-propagating errors》
50%待验证论文署名者包括Anthropic联合创始人Jack Clark和OpenAI首席科学家
50%待验证Hinton 在 2022 年提出前向-前向算法（Forward-Forward Algorithm），用两次前向传播替代一次前向加一次反向传播，分别处理正样本和负样本
50%