概念Backpropagation
反向传播
反向传播(Backpropagation)是训练人工神经网络的核心算法,基于微积分中的链式法则,将网络输出的预测误差从输出层逐层向输入层反向传递,依次计算各层参数(权重和偏置)对误差的梯度,再结合梯度下降等优化方法对参数进行更新,从而最小化损失函数,实现模型的学习与优化。
核心事实
时间轴 (近 90 天)
8月27日
梯度爆炸的数学本质与链式法则和矩阵连乘的谱范数相关,当雅可比矩阵的最大奇异值持续大于1时,梯度会随层数指数级增长
待验证50%
7月14日
反向传播算法的数学基础是微积分中的链式法则,将复合函数的梯度分解为各层局部梯度的乘积,从输出层逐层向输入层传递误差信号
已验证65%
7月13日
反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及,其数学核心是链式法则
已验证65%