概念
PCGrad
一种多任务学习中的梯度平衡策略,在任务梯度方向冲突时做投影消解,以缓解任务间梯度拉扯。
时间轴 (近 90 天)
10月22日
GradNorm 动态调整各任务损失权重使梯度范数趋于一致,PCGrad 在梯度方向冲突时做投影消解。
待验证50%
10月4日
梯度平衡的代表性方法包括PCGrad(将冲突梯度投影到无冲突子空间)和MGDA(寻找使所有目标同时下降方向的多梯度下降算法)
待验证50%
一种多任务学习中的梯度平衡策略,在任务梯度方向冲突时做投影消解,以缓解任务间梯度拉扯。
GradNorm 动态调整各任务损失权重使梯度范数趋于一致,PCGrad 在梯度方向冲突时做投影消解。
梯度平衡的代表性方法包括PCGrad(将冲突梯度投影到无冲突子空间)和MGDA(寻找使所有目标同时下降方向的多梯度下降算法)