#蒸馏

蒸馏的隐性代价：教师行为泄漏与奖励模型超越

蒸馏不仅传递能力，还会泄漏教师的安全行为倾向；但精心设计的在线策略蒸馏能让奖励模型超越专家教师。本文解析 Imprinting、RM-OPD、CleanRM、Apertus 1.5 与 UltraBERT 的最新发现与工程实践。