#知识蒸馏

共 4 篇相关文章

模型合并（Model Merging）与知识蒸馏（KD/OPD）是否存在内在联系？本文从参数空间与输出分布两个视角，探讨模式连通性等理论桥梁，分析二者的统一框架及其对理解LLM的意义。

arXiv论文提出条件锚定生成蒸馏(CAGD)，通过解耦条件、教师生成与软目标三种角色，缓解语言模型持续学习中的灾难性遗忘。实验显示四任务留出损失从2.927降至1.114，为自回归与掩码扩散模型提供通用设计原则。

arXiv新论文提出GAD-RL方法，通过门控与衰减的在线策略蒸馏提升OCR转录忠实度，解决视觉语言模型擅自改写图像异常文本的问题，在CHAOS-Bench和OmniDocBench基准上显著超越GRPO基线。

程序员鱼皮在GitHub开源yupi-skill项目，将编程经验蒸馏为Agent Skill技能包，支持Claude Code、Cursor等AI编程工具。本文解析项目原理、应用场景及个人知识AI化的行业趋势。