反向传播
反向传播（Backpropagation）是训练人工神经网络的核心算法，基于微积分中的链式法则，将网络输出的预测误差从输出层逐层向输入层反向传递，依次计算各层参数（权重和偏置）对误差的梯度，再结合梯度下降等优化方法对参数进行更新，从而最小化损失函数，实现模型的学习与优化。
核心事实
时间轴 (近 90 天)
传统学习算法分析通常假设每一刻、每个突触都能获得准确梯度信息。
文中公式 δ_out = (a_out - y) * σ'(z_out) 省略了常数因子2，这在实践中不影响梯度下降的方向，仅相当于学习率缩放。
权重梯度公式为 ∂L/∂W = δ · a_prev^T。
隐藏层误差项公式为 δ_hidden = (W_out^T · δ_out) * σ'(z_hidden)。
反向传播中输出层误差项公式为 δ_out = (a_out - y) * σ'(z_out)。
反向传播的信用分配解决方案基于链式法则，从输出端逐层计算敏感度，能以约一次前向传播的成本获得每个权重的梯度。
在 Handwired 网络中，运费对每公斤费率的偏导为 2，对中等档价格的偏导为 1，对所有阈值（50 美元会员线、100 美元线、500 克、2 公斤）的偏导均为 0。
反向传播复用中间层的梯度计算结果，将对参数求导的计算复杂度从指数级降到与网络规模线性相关。
反向传播是神经网络训练的核心机制，是NLP、图像识别和大语言模型的底层算法基础。
推理专用 NPU 的优化目标通常包括量化算术、固定功能数据通路、高度受限的内存层级以及低功耗低延迟的前向推理，而非为反向传播优化。
还有 36 条时间轴事件
全部知识事实 (20)
神经网络训练中反向模式自动微分是反向传播的数学本质，因为参数数量远多于损失值输出维度
85%已验证反向传播算法的数学基础是微积分中的链式法则，将复合函数的梯度分解为各层局部梯度的乘积，从输出层逐层向输入层传递误差信号
80%已验证反向传播算法由 Rumelhart、Hinton 和 Williams 在 1986 年的论文中推广普及，其数学核心是链式法则
80%已验证反向传播是链式法则在数学上的应用
80%已验证反向传播的本质是链式求导，损失函数对每一层参数的梯度从输出层向输入层逐层传递，前提是损失函数必须存在且可微
80%已验证反向传播的核心思想是利用链式法则将输出误差逐层分解，使误差信号从输出层逆向流回每一个权重参数
75%已验证反向传播本质上是一种高效计算梯度的动态规划算法，通过从输出层到输入层逐层传递误差信号并复用中间计算结果来降低梯度计算复杂度
75%已验证反向传播算法的本质是通过链式法则在计算图上高效计算标量损失对每个参数的偏导数
65%待验证反向传播在生物大脑中几乎不可能存在，因为它要求前向和反向路径使用对称权重（权重传输问题），而真实大脑无已知机制支持
60%待验证反向传播（Backpropagation）本质上是链式法则的系统化应用，通过从输出层向输入层逐层传递误差信号来高效计算每个参数对损失函数的偏导数
60%待验证传统学习算法分析通常假设每一刻、每个突触都能获得准确梯度信息。
50%待验证反向传播中输出层误差项公式为 δ_out = (a_out - y) * σ'(z_out)。
50%待验证隐藏层误差项公式为 δ_hidden = (W_out^T · δ_out) * σ'(z_hidden)。
50%待验证权重梯度公式为 ∂L/∂W = δ · a_prev^T。
50%待验证文中公式 δ_out = (a_out - y) * σ'(z_out) 省略了常数因子2，这在实践中不影响梯度下降的方向，仅相当于学习率缩放。
50%待验证反向传播的信用分配解决方案基于链式法则，从输出端逐层计算敏感度，能以约一次前向传播的成本获得每个权重的梯度。
50%待验证在 Handwired 网络中，运费对每公斤费率的偏导为 2，对中等档价格的偏导为 1，对所有阈值（50 美元会员线、100 美元线、500 克、2 公斤）的偏导均为 0。
50%待验证反向传播是神经网络训练的核心机制，是NLP、图像识别和大语言模型的底层算法基础。
50%待验证反向传播复用中间层的梯度计算结果，将对参数求导的计算复杂度从指数级降到与网络规模线性相关。
50%待验证推理专用 NPU 的优化目标通常包括量化算术、固定功能数据通路、高度受限的内存层级以及低功耗低延迟的前向推理，而非为反向传播优化。
50%