待验证60% 置信事实精确时间
在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率
2
来源数
60%
置信度
长期有效
时效性
2026/9/10
首次发现
来源
涉及实体
相关事实
待验证传统蒸馏通常需要访问教师模型的完整输出概率（logits），但在黑盒API场景下，攻击者只能获得最终文本，于是演变为「黑盒蒸馏」——用大量输入输出对做指令微调。77% 相似已验证硬蒸馏是指学生模型直接学习教师模型的最终输出标签或生成文本，软蒸馏则要求学生模型学习教师模型输出的完整概率分布（logits）73% 相似待验证端点式策略蒸馏方法将教师模型RL训练前后log概率差值作为监督信号，施加在学生模型自己生成的轨迹上。73% 相似已验证知识蒸馏通过软标签传递教师模型输出的完整概率分布信息，起到隐式数据增强效果68% 相似已验证大语言模型本质上是在学习给定前文下一个词是什么的条件概率分布68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/886034API
curl https://kongchang.com/api/v1/knowledge/claims/886034MCP
get_claim(id=886034)