待验证70% 置信事实精确时间

通过蒸馏，参数量仅为教师模型十分之一的学生模型往往能保留教师模型80%-95%的性能

2

来源数

70%

置信度

长期有效

时效性

2026/9/10

首次发现

来源

318 tps推理速度意味着什么？大模型性能竞赛深度解析

涉及实体

模型蒸馏concept

相关事实

待验证蒸馏的代价在于：学生模型倾向于继承教师模型在训练分布内的行为，但对分布外的困难样本（生僻词、强噪声、罕见口音）的泛化能力会明显弱于原始大模型。74% 相似待验证经过协同蒸馏和量化的学生模型相比原始基线模型推理速度提升98.21%70% 相似待验证知识蒸馏让学生网络学习教师网络输出的软概率分布，使学生模型在参数量缩减10倍以上的情况下保留核心推理能力68% 相似待验证经过协同蒸馏和量化的学生模型相比原始基线模型实现了体积缩减69%67% 相似待验证教师模型在不同时间步上的预测质量并不均匀，在某些时间步（尤其是 t 接近 0 或接近 1 的端点）的预测本身噪声较大。66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/890073

API

curl https://kongchang.com/api/v1/knowledge/claims/890073

MCP

get_claim(id=890073)