OC-OPD
一种on-policy知识蒸馏方法，通过四观测矩阵协调前向KL与反向KL两个互补监督信号，利用Fisher逆度量耦合实现闭式协商的梯度更新
时间轴 (近 90 天)
OC-OPD是一种on-policy蒸馏方法，用四观测矩阵协调前向KL与反向KL的梯度，避免手工权重搜索。
OC-OPD构造了四观测矩阵：将学生和教师分别视为候选来源和评估者，自我观测（学生评学生、教师评教师）度量不确定性，交叉观测分别对应反向KL和前向KL目标。
论文建立了一个精确恒等式：将两种KL对数it梯度的Fisher逆度量耦合，等价于这些对比观测之和。
OC-OPD的更新流程分三步：观测设定偏好，闭式协商协调前向与反向KL梯度，用分布差异缩放更新幅度。
论文在三种学生设定（非思考生成、思考生成、基座模型初始化）下评估OC-OPD，在数学推理任务上取得明显增益，并能迁移到分布外的科学问答和代码生成任务。
OC-OPD的代码已在GitHub公开，地址为https://github.com/RuoranXu/OC-OPD。
OC-OPD用观测驱动的偏好和闭式协商替代了部分手工调参，可能是其在不同学生设定下都能奏效的原因之一。
全部知识事实 (7)
OC-OPD是一种on-policy蒸馏方法，用四观测矩阵协调前向KL与反向KL的梯度，避免手工权重搜索。
50%待验证OC-OPD构造了四观测矩阵：将学生和教师分别视为候选来源和评估者，自我观测（学生评学生、教师评教师）度量不确定性，交叉观测分别对应反向KL和前向KL目标。
50%待验证论文建立了一个精确恒等式：将两种KL对数it梯度的Fisher逆度量耦合，等价于这些对比观测之和。
50%待验证OC-OPD的更新流程分三步：观测设定偏好，闭式协商协调前向与反向KL梯度，用分布差异缩放更新幅度。
50%待验证论文在三种学生设定（非思考生成、思考生成、基座模型初始化）下评估OC-OPD，在数学推理任务上取得明显增益，并能迁移到分布外的科学问答和代码生成任务。
50%待验证OC-OPD的代码已在GitHub公开，地址为https://github.com/RuoranXu/OC-OPD。
50%待验证OC-OPD用观测驱动的偏好和闭式协商替代了部分手工调参，可能是其在不同学生设定下都能奏效的原因之一。
50%