待验证60% 置信事实精确时间
余弦退火让学习率按余弦曲线平滑下降至接近零并周期性重启，被SGDR算法正式化
2
来源数
60%
置信度
长期有效
时效性
2026/7/19
首次发现
来源
相关事实
待验证余弦退火学习率调度策略由Loshchilov和Hutter在2017年提出，让学习率按余弦函数从初始值平滑衰减至接近零77% 相似待验证阶梯衰减则是在预设的迭代节点上将学习率按固定比例（如乘以 0.1）下调，实现简单、行为可预测，属于开环、经验驱动的调度。71% 相似待验证余弦退火（cosine decay）是一种将学习率按余弦函数曲线从初始值逐渐衰减至接近零的学习率调度策略67% 相似待验证标准反向传播本质上是梯度下降的离散迭代，当学习率看作无穷小时间步长时，该离散过程收敛为梯度流常微分方程 dθ/dt = −∇L(θ)67% 相似待验证残差结构让F=0成为默认选项，只要F(x)权重接近零残差块即退化为恒等映射，从而解决SGD难以学习恒等映射的优化困境67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/558233API
curl https://kongchang.com/api/v1/knowledge/claims/558233MCP
get_claim(id=558233)