共 2 篇相关文章
DPO训练太慢太吃显存？这篇论文提出DPO计算图随机剪枝框架，从位置、序列、分支三个维度独立采样，分支剪枝实现1.426倍步时加速、训练时间减少约30%，并深入分析内存与时间收益的归因。
一项系统性研究通过密集超参数网格实验揭示DPO超参数景观：最优学习率随模型规模变化，超参数无法跨数据集迁移，验证损失与下游基准最优解仅弱相关，短候选训练可显著降低调参成本。
