[控场AI]
概念learning rate schedule

学习率调度

深度学习训练中控制学习率随训练进程变化的策略,常见形式包括常数、强衰减和多项式衰减等

时间轴 (近 90 天)

10月22日

当学习率根据训练时长进行调整时,局部连接学生在早期阶段表现更优,而卷积学生在后期阶段胜出,二者之间存在一个可解析预测的转换点。

待验证50%
10月14日

论文处理的是常步长,而实践中常用的学习率调度(如余弦退火)不在当前框架内。

待验证50%

全部知识事实 (2)

来源文章