梯度下降的通用频率原理：线性逼近下的高频抑制与低频优先

引言：频率原理的扩展

在机器学习理论中，梯度下降训练的隐式偏好一直是研究热点。近期一篇论文《General Frequency Principle for Linear Approximation Classes》将频率原理从神经网络推广到有限线性逼近类，揭示了梯度下降在训练过程中对高低频分量的不同处理方式。该研究通过理论证明和数值实验（使用Legendre基和三角函数基）验证了其结论，为理解线性模型的学习动力学提供了新视角。

核心理论结果

高频分量的幅度衰减

论文证明，在适当的假设下，相对于目标幅度，学习到的解在高频处的幅度在训练全程一致地趋于零。这意味着梯度下降倾向于先拟合低频成分，而高频成分的幅度始终被抑制。这一结论不依赖于训练时间，具有全局性。

频率原理（Frequency Principle） 是深度学习理论中的一个经验性观察：神经网络在梯度下降训练中倾向于先拟合目标函数的低频成分（全局、平滑的结构），再逐步拟合高频成分（局部、剧烈的变化），且高频成分的幅度往往被压制。该原理最早在深层全连接网络和卷积网络中被系统观测到，并被称为“F-Principle”。其常见解释包括：梯度下降的谱偏置（spectral bias）——损失函数的Hessian矩阵在低频方向上的特征值更大，使低频方向收敛更快；以及参数初始化带来的隐式正则化。论文将其推广到线性逼近类，意味着频率原理并非神经网络独有，而是梯度下降在更广泛函数空间中的内禀性质。

低频优先的充分条件

作者建立了低频优先的充分条件，覆盖了两种场景：单独训练单频目标，以及在同一次运行中训练两个频率分量。这些条件确保了低频成分会优先被学习。

有意思的是，该通用频率原理并不蕴含“低频总是收敛更快”。相反，对于满足特定比较条件的两个频率，其中一个分量需要更长的学习时间，而在常见情况下，学习时间更长的分量对应更高的频率。这一区分澄清了频率原理的常见误解。

数值实验验证

论文使用Legendre基和三角函数基进行了数值实验，验证了理论结果。实验表明，在高频处，学习到的振幅相对目标振幅确实趋于零，且低频成分优先被拟合。这些实验与理论分析一致，增强了结论的可信度。

Legendre基 是定义在区间 [-1, 1] 上的一组正交多项式，由递推关系 P_{n+1}(x) = [(2n+1)x P_n(x) - n P_{n-1}(x)]/(n+1) 生成，前几项为 P_0=1, P_1=x, P_2=(3x^2-1)/2。它具有正交性 ∫{-1}^{1} P_m(x)P_n(x) dx = 2/(2n+1) δ{mn}，且 P_n 恰为 n 次多项式，因此 {P_n} 构成多项式空间的一组基。在数值分析中，Legendre基常用于函数逼近和谱方法，因其正交性使投影系数计算稳定，且系数衰减速度反映目标的平滑程度。论文选用Legendre基作为线性逼近类的一个实例，可检验不同“频率”（对应多项式阶数）分量在梯度下降下的学习顺序。

三角函数基 即傅里叶基 {1, cos(nπx), sin(nπx)} 或复指数 {e^{inπx}}，是周期函数空间的正交基。其系数即傅里叶系数，频率 n 直接对应振荡快慢，是研究频率原理最自然的基。两种基分别代表非周期（多项式）和周期（三角）逼近场景，互补验证理论结论的普适性。

对机器学习实践的启示

这一通用频率原理对理解线性模型和核方法的行为具有意义。它表明，梯度下降在训练线性逼近器时，会自然产生一种正则化效应，抑制高频噪声，优先学习低频结构。这有助于解释为什么线性模型在过参数化情况下仍能泛化。同时，该原理也提醒实践者，在需要学习高频细节的任务中，可能需要调整优化策略或使用自适应方法。

结论

该论文将频率原理推广到有限线性逼近类，提供了理论保证和实验验证。其结论强调了梯度下降对高频分量的抑制和低频优先的条件性，为深度学习理论中频率原理的研究提供了更一般的基础。未来工作可以探索该原理在更复杂模型中的应用。