模型蒸馏
一种模型压缩技术，通过将大型教师模型的知识转移到小型学生模型中，在保持性能的同时降低计算成本
核心事实
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型
模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签
时间轴 (近 90 天)
在 API 场景下，攻击者可以用大量查询构造输入-输出对，训练学生模型模仿教师模型的行为。
模型提取攻击试图重建模型参数或功能等价副本，与模型蒸馏密切相关但目标不同。
大模型轻量化技术包括模型蒸馏、量化（如INT8/INT4）、剪枝以及端侧推理框架优化等手段。
传统蒸馏通常需要访问教师模型的完整输出概率（logits），但在黑盒API场景下，攻击者只能获得最终文本，于是演变为「黑盒蒸馏」——用大量输入输出对做指令微调。
模型蒸馏（Model Distillation）是一种模型压缩与知识迁移技术，最早由Hinton等人在2015年提出。
黑市对 API 密钥的需求源于模型蒸馏：希望训练接近前沿能力模型但被 Anthropic 和 OpenAI 限制访问的团队，需要大量高质量推理数据，购买“别人的密钥”成为低成本、可抛弃的数据生成通道。
业界常用的图像生成降本手段包括模型蒸馏、减少采样步数、使用更小的潜空间分辨率，以及在专用加速硬件上做推理优化。
蒸馏的代价在于：学生模型倾向于继承教师模型在训练分布内的行为，但对分布外的困难样本（生僻词、强噪声、罕见口音）的泛化能力会明显弱于原始大模型。
判断是否发生模型蒸馏通常需要训练数据溯源、输出分布比对等证据，仅凭输出风格相似或单一指纹测试很难成立。
开源模型、模型蒸馏和分布式训练技术的发展，正在部分抵消AI权力集中的趋势。
还有 40 条时间轴事件
全部知识事实 (20)
Knowledge Distillation is a technique for transferring knowledge from a large teacher model to a smaller student model, proposed by Geoffrey Hinton et al. in 2015
90%已验证Flash模型通常采用知识蒸馏技术，以旗舰模型为教师模型训练出参数量更小、推理速度更快的学生模型
90%已验证模型蒸馏（Knowledge Distillation）最初由 Hinton 等人于2015年提出，核心思想是让小模型学习大模型的软标签而非硬标签
90%已验证Flash系列通过MoE架构、推测性解码等技术，在每次推理时只激活部分参数以降低计算量
80%已验证知识蒸馏的核心思想是让学生模型模仿教师模型输出的软标签（各类别概率分布），软标签被Hinton称为暗知识（dark knowledge）
80%已验证模型蒸馏可在保留70-80%原始性能的前提下将参数量压缩至原来的1/10
80%已验证模型蒸馏（Knowledge Distillation）是将大型模型的知识迁移至小型轻量模型的技术，可在参数量缩减数十倍的同时保留大部分性能
80%已验证知识蒸馏由Hinton等人在2015年提出，核心思想是让小型学生模型模仿大型教师模型的输出分布
80%已验证模型蒸馏是将大模型的能力压缩到小模型中以降低推理成本的技术
80%已验证模型蒸馏技术最早由Geoffrey Hinton等人在2015年提出
80%已验证模型蒸馏是指通过大量查询目标模型、收集其输入输出对，进而训练出能力相近的学生模型
75%已验证蒸馏可以让开源团队以远低于从头训练的成本获得接近前沿模型的性能
75%已验证模型蒸馏最早由Hinton等人在2015年提出，让小模型学习大模型的输出分布，学生模型往往能保留教师模型80%-95%的性能
75%已验证速度提升与价格下降同时发生通常指向底层推理架构优化，可能路径包括模型蒸馏、量化、推测解码和流式处理架构
75%已验证模型蒸馏将大模型的知识迁移到更小的学生模型中，速度提升显著但存在一定能力损耗
75%已验证模型蒸馏通过温度缩放软化教师模型的softmax输出，使低概率类别信息得以传递给学生模型
70%已验证模型蒸馏技术由Geoffrey Hinton团队于2015年提出，最初用于模型压缩，通过让学生模型拟合教师模型的软标签输出
70%已验证Gemini Flash系列采用知识蒸馏（Knowledge Distillation）、模型量化（Quantization）以及架构裁剪等技术手段来压缩参数规模与计算开销
70%已验证蒸馏可以被看作一种隐式的、受数据约束的模型合并——用多个教师模型的平均输出蒸馏学生实际上是在输出分布层面做软合并
65%已验证模型蒸馏（Model Distillation）在机器学习领域指用大型教师模型的输出训练小型学生模型，以压缩模型规模同时保留能力
65%