概念Black-box Distillation
黑盒蒸馏
在无法访问教师模型输出概率（logits）的黑盒API场景下，仅通过大量输入输出文本对进行指令微调来迁移模型能力的蒸馏方式
时间轴 (近 90 天)
10月24日
传统蒸馏通常需要访问教师模型的完整输出概率（logits），但在黑盒API场景下，攻击者只能获得最终文本，于是演变为「黑盒蒸馏」——用大量输入输出对做指令微调。
待验证50%
9月12日
白盒教师可访问权重和logits，支持软标签蒸馏；黑盒教师只能提供文本输出，只能做硬标签的离线蒸馏
待验证50%
9月10日
黑盒蒸馏通常需要数百万次API调用才能获得理想结果
待验证50%
9月10日
黑盒蒸馏方法的效果取决于查询数据的多样性和覆盖度，往往需要数百万次API调用才能获得理想结果
待验证50%
9月10日
在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率
待验证60%
9月10日
黑盒蒸馏通过大量调用目标模型API收集高质量输入-输出对，再用监督学习方式训练自己的模型，往往需要数百万次API调用
待验证50%
全部知识事实 (6)
待验证
在传统白盒蒸馏中学生模型可以直接访问教师模型输出层的完整概率分布（logits），而大语言模型商业API通常只返回最终生成文本或top-k的token概率
60%待验证传统蒸馏通常需要访问教师模型的完整输出概率（logits），但在黑盒API场景下，攻击者只能获得最终文本，于是演变为「黑盒蒸馏」——用大量输入输出对做指令微调。
50%待验证白盒教师可访问权重和logits，支持软标签蒸馏；黑盒教师只能提供文本输出，只能做硬标签的离线蒸馏
50%待验证黑盒蒸馏通常需要数百万次API调用才能获得理想结果
50%待验证黑盒蒸馏方法的效果取决于查询数据的多样性和覆盖度，往往需要数百万次API调用才能获得理想结果
50%待验证黑盒蒸馏通过大量调用目标模型API收集高质量输入-输出对，再用监督学习方式训练自己的模型，往往需要数百万次API调用
50%