概念
Shampoo
一种基于矩阵预条件的二阶优化算法，对每层权重矩阵维护行、列协方差矩阵并做Kronecker因子分解，以更接近完整二阶信息进行优化
时间轴 (近 90 天)
11月1日
SOAP、Shampoo、FOAM是深度学习领域优化算法的名称。
待验证50%
11月1日
Shampoo是一种基于矩阵预条件的优化器。
待验证50%
11月1日
Shampoo对每层权重矩阵分别维护行、列方向的协方差矩阵并做Kronecker因子分解。
待验证50%
11月1日
SOAP可以看作在Shampoo预条件框架基础上结合了类似Adagrad的自适应思想。
待验证50%
10月8日
Shampoo对每个参数张量的各个维度分别维护二阶统计量，避免了完整Hessian的计算
待验证50%
10月8日
专门的刚性ODE求解器未成为主流训练方法并非被证伪，而是因其核心收益已被K-FAC、Shampoo等更工程化的二阶优化器吸收
待验证50%