[控场AI]
概念

PCGrad

一种多任务学习中的梯度平衡策略,在任务梯度方向冲突时做投影消解,以缓解任务间梯度拉扯。

时间轴 (近 90 天)

10月22日

GradNorm 动态调整各任务损失权重使梯度范数趋于一致,PCGrad 在梯度方向冲突时做投影消解。

待验证50%
10月4日

梯度平衡的代表性方法包括PCGrad(将冲突梯度投影到无冲突子空间)和MGDA(寻找使所有目标同时下降方向的多梯度下降算法)

待验证50%

全部知识事实 (2)

来源文章