标准训练

近期一篇论文专门研究了大步长下对抗训练（AT）的梯度下降（GD）动态，揭示了与标准训练（ST）的三个关键差异。

在对抗线性逻辑回归中，即使步长任意大，对抗训练和标准训练的隐式偏置差距依然持续存在。

在标准训练中，小步长梯度下降对线性模型倾向于收敛到最小L2范数解。

在标准训练中，梯度下降在光滑凸问题上具有统一的收敛速率保证，不依赖于具体数据分布。