概念homogeneous models
齐次模型
满足尺度变换性质的数学模型，即 f(cw) = c^L f(w)，常见于深度线性网络和忽略偏置的ReLU网络
时间轴 (近 90 天)
11月3日
先前研究表明，在齐次模型上，当学习率调度为强衰减形式 η(t) = o(t^{1/L-1}) 时，Adam被证明会收敛到最大化ℓ∞间隔的解。
待验证50%
11月3日
齐次模型是指满足 f(cw) = c^L f(w) 对任意标量 c>0 成立的模型，其中 L 称为齐次度。
待验证50%
满足尺度变换性质的数学模型，即 f(cw) = c^L f(w)，常见于深度线性网络和忽略偏置的ReLU网络
先前研究表明，在齐次模型上，当学习率调度为强衰减形式 η(t) = o(t^{1/L-1}) 时，Adam被证明会收敛到最大化ℓ∞间隔的解。
齐次模型是指满足 f(cw) = c^L f(w) 对任意标量 c>0 成立的模型，其中 L 称为齐次度。