概念exposure bias
暴露偏差
序列生成模型中的问题，指训练时使用真实前缀而推理时使用模型自身生成的前缀，导致分布不一致和错误累积。
时间轴 (近 90 天)
11月3日
传统知识蒸馏采用off-policy方式，让学生模仿教师在固定数据集上的输出分布，导致暴露偏差（exposure bias）。
待验证50%
11月2日
在线策略蒸馏让学生模型在训练过程中生成自己的排序，教师针对这些排序提供反馈，从而避免离线蒸馏中教师分布与学生分布不匹配的问题（暴露偏差）。
待验证50%
9月9日
自回归模型存在暴露偏差问题，即模型训练时看到真实前缀，但推理时面对自己生成的错误前缀，导致误差逐步累积
待验证50%