待验证50% 置信事实精确时间
KL 蒸馏使用原全注意力模型作为教师，让替换为 ZHA 结构的学生模型模仿教师下一 token 分布，损失为 KL 散度。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证知识蒸馏的中间层对齐策略（如PKD、TinyBERT）通过强制学生模型的隐藏表示模仿教师模型的分布间接约束嵌入几何结构70% 相似待验证前向KL倾向于让学生策略覆盖教师策略的所有模式，学得全但可能不够精准；反向KL倾向于让学生策略集中在教师策略的高概率区域，学得精但可能遗漏某些模式。68% 相似已验证本实验采用轨迹级蒸馏，属于行为克隆范畴，直接让学生模型模仿教师模型的外在行为序列64% 相似待验证实验中采用知识蒸馏，教师模型是Llama 3 8B（基于token），学生模型是字节模型，需要设计token与字节序列之间的对齐映射。64% 相似待验证REMORY 训练时使用 KL 散度衡量冻结 LLM 看到完整历史与看到摘要加残差 Token 时的输出分布差异64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1125739API
curl https://kongchang.com/api/v1/knowledge/claims/1125739MCP
get_claim(id=1125739)