概念Taylor expansion / 泰勒公式
泰勒展开
用多项式局部近似函数的数学工具,一阶展开对应梯度下降的线性近似,二阶展开引入曲率对应牛顿法等二阶优化方法。
时间轴 (近 90 天)
10月30日
一阶分析的基本思路是将权重扰动对模型输出的影响做泰勒展开,只保留一阶线性项:输出变化约等于扰动向量与输出对权重的梯度的内积。
待验证50%
10月22日
一阶泰勒展开对应梯度下降的线性近似,二阶展开引入曲率信息对应牛顿法等二阶优化方法。
待验证50%
10月22日
泰勒展开是分析工具而非训练算法,'用泰勒展开训练网络'是一种表述混淆。
待验证50%
10月12日
二阶泰勒展开将 exp(x) 近似为 1 + x + x²/2,其中 (q^T k)² 可写成 (q⊙q)^T (k⊙k) 的形式从而维持线性时间复杂度
待验证50%