[控场AI]
概念Taylor expansion / 泰勒公式

泰勒展开

用多项式局部近似函数的数学工具,一阶展开对应梯度下降的线性近似,二阶展开引入曲率对应牛顿法等二阶优化方法。

时间轴 (近 90 天)

10月30日

一阶分析的基本思路是将权重扰动对模型输出的影响做泰勒展开,只保留一阶线性项:输出变化约等于扰动向量与输出对权重的梯度的内积。

待验证50%
10月22日

一阶泰勒展开对应梯度下降的线性近似,二阶展开引入曲率信息对应牛顿法等二阶优化方法。

待验证50%
10月22日

泰勒展开是分析工具而非训练算法,'用泰勒展开训练网络'是一种表述混淆。

待验证50%
10月12日

二阶泰勒展开将 exp(x) 近似为 1 + x + x²/2,其中 (q^T k)² 可写成 (q⊙q)^T (k⊙k) 的形式从而维持线性时间复杂度

待验证50%

全部知识事实 (4)

来源文章