自动微分
现代深度学习框架的核心技术，通过在前向传播时构建计算图，在反向传播时自动应用链式法则计算各参数的偏导数，使得梯度计算对用户透明。
核心事实
时间轴 (近 90 天)
主流深度学习框架通常采用反向模式自动微分（reverse-mode autodiff），即在前向传播中构建计算图，然后反向遍历应用链式法则。
现代深度学习框架（如PyTorch、TensorFlow）将大部分数学细节封装，用户只需定义模型结构、损失函数和优化器，框架自动计算梯度。
PyTorch提供自动微分基础设施，通过定义目标函数和约束，并用优化器迭代更新参数来求解优化问题。
反向模式自动微分是PyTorch、TensorFlow等框架训练神经网络的引擎。
自动微分是一种精确、高效的求导技术，介于符号微分与数值微分之间，通过对计算图上的基本操作应用链式法则来累积局部导数。
教学场景下的从零实现通常把边界划在NumPy层：只借它做张量存储和基础运算，所有自动微分、层级结构和优化器仍由自己编写。
自动微分通过在每次前向运算时同步记录操作及其输入，动态构建一张有向无环图（计算图），反向传播时沿图的反向边依次调用每个操作的局部梯度函数，通过链式法则累积梯度
建议机器学习学习者至少手写过一次反向传播算法（自动微分的链式法则展开）
NumPy无法原生支持GPU并行计算和自动微分
自动微分基于链式法则，通过计算图追踪每个运算的导数，能以机器精度高效计算任意阶导数
还有 7 条时间轴事件
全部知识事实 (20)
PyTorch 的 Autograd 引擎在张量运算时即时构建有向无环图（DAG），记录运算顺序以便反向传播计算梯度
80%已验证现代深度学习框架通过自动微分技术在前向传播时构建计算图，在反向传播时自动沿图反向计算梯度
75%已验证PyTorch、TensorFlow 内置的自动微分系统本质上是在计算图上自动执行链式求导过程
70%已验证自动微分不同于符号微分和数值微分，利用链式法则将复合函数导数分解为基本运算导数组合，分为前向模式和反向模式
65%已验证自动微分通过在运行时记录所有张量运算构建计算图，然后利用反向模式微分自动计算任意复杂函数的精确梯度
65%待验证TensorFlow、PyTorch等框架中的自动微分系统本质上是可微分编程的工程实现
60%待验证主流深度学习框架通常采用反向模式自动微分（reverse-mode autodiff），即在前向传播中构建计算图，然后反向遍历应用链式法则。
50%待验证现代深度学习框架（如PyTorch、TensorFlow）将大部分数学细节封装，用户只需定义模型结构、损失函数和优化器，框架自动计算梯度。
50%待验证PyTorch提供自动微分基础设施，通过定义目标函数和约束，并用优化器迭代更新参数来求解优化问题。
50%待验证反向模式自动微分是PyTorch、TensorFlow等框架训练神经网络的引擎。
50%待验证自动微分是一种精确、高效的求导技术，介于符号微分与数值微分之间，通过对计算图上的基本操作应用链式法则来累积局部导数。
50%待验证教学场景下的从零实现通常把边界划在NumPy层：只借它做张量存储和基础运算，所有自动微分、层级结构和优化器仍由自己编写。
50%待验证自动微分通过在每次前向运算时同步记录操作及其输入，动态构建一张有向无环图（计算图），反向传播时沿图的反向边依次调用每个操作的局部梯度函数，通过链式法则累积梯度
50%待验证建议机器学习学习者至少手写过一次反向传播算法（自动微分的链式法则展开）
50%待验证NumPy无法原生支持GPU并行计算和自动微分
50%待验证自动微分基于链式法则，通过计算图追踪每个运算的导数，能以机器精度高效计算任意阶导数
50%待验证PINNs通过自动微分计算网络输出对输入的各阶导数，能在几乎没有标注数据的情况下求解正问题和反问题
50%待验证梯度累加在自动微分中至关重要:当一个变量通过多个计算路径影响损失函数时,来自各路径的梯度必须相加
50%待验证PyTorch的autograd模块基于自动微分技术实现
50%待验证CMU 11-785课程要求学生使用PyTorch从零实现各类网络组件，甚至包括手动实现自动微分
50%