概念Implicit Regularization
隐式正则化
指优化算法（如梯度下降）在未显式添加正则化项的情况下，由于其自身特性而隐式偏向低复杂度解的现象，被认为是神经网络泛化能力的重要来源之一
时间轴 (近 90 天)
10月15日
过参数化网络虽然容量足以记住随机标签，但梯度下降的隐式正则化偏向于先学习简单、一致的规律。
待验证50%
9月20日
梯度下降在众多能完美拟合训练集的解中天然倾向于选择更平坦、更简单的解，这一隐式正则化效应与泛化能力密切相关
待验证50%
指优化算法（如梯度下降）在未显式添加正则化项的情况下，由于其自身特性而隐式偏向低复杂度解的现象，被认为是神经网络泛化能力的重要来源之一
过参数化网络虽然容量足以记住随机标签，但梯度下降的隐式正则化偏向于先学习简单、一致的规律。
梯度下降在众多能完美拟合训练集的解中天然倾向于选择更平坦、更简单的解，这一隐式正则化效应与泛化能力密切相关