SGD
随机梯度下降（Stochastic Gradient Descent，SGD）是机器学习和深度学习中广泛使用的一种优化算法，用于最小化模型的损失函数。其核心思想是每次迭代从训练数据中随机采样一个或一小批样本（mini-batch）来估计梯度，并沿梯度反方向更新模型参数。SGD具有计算开销低、内存占用小的特点，适用于大规模数据训练，是神经网络训练的基础优化方法之一。
核心事实
时间轴 (近 90 天)
UBA的推导建立在SGD的连续时间动力学之上，因此其最优性结论对SGD成立，却难以直接迁移到Adam等自适应优化器。
SGD和AdamW等通用优化器并未针对单遍、非平稳的数据分布设计，其更新规则无法有效平衡快速适应与抗遗忘的需求。
对于随机梯度下降（SGD），该框架要么恢复、要么显著锐化作者所知的所有现有界限。
论文证明SGD迭代在中心波动尺度下收敛到稳定OU过程，并利用该极限刻画尾部概率。
论文的主要结果是：对于正则变化创新（指数 t ∈ (1,2)），末次迭代的尾部概率由单一的大梯度冲击通过局部Hessian流传输所主导。
论文的结果适用于状态依赖噪声和增长的观测时域，且对于任何可用的梯度矩 p>1，容许窗口非空。
在无限方差 t ∈ (1,2) 情形下，SGD的中心波动尺度为 η^{1/t} 量级，极限为 t-稳定分布。
论文推导出显式的投影和超额目标尾部、极端分位数，以及固定批大小 b 下的因子 b^{1-t}。
论文通过一维到一百维的耦合模拟验证了理论结果，显示理论预测的尾部概率与实际模拟吻合良好。
在无限方差梯度下，SGD的收敛速度由尾部指数 t 决定，而非传统的 1/sqrt(n) 速率。
还有 12 条时间轴事件
全部知识事实 (20)
Adam优化器于2014年提出，融合动量与自适应学习率，成为当今最广泛使用的优化器
80%已验证随机梯度下降（SGD）每次只用一个样本，速度快但更新方向噪声大
75%已验证梯度下降有批量梯度下降、随机梯度下降SGD和小批量梯度下降三种变体
65%已验证Adam、RMSProp等自适应学习率优化器在SGD基础上进一步改进了收敛速度和稳定性
65%待验证小批量梯度下降（Mini-batch GD）是批量梯度下降和随机梯度下降的折中方案，也是工业界最常用的梯度下降方式
60%待验证UBA的推导建立在SGD的连续时间动力学之上，因此其最优性结论对SGD成立，却难以直接迁移到Adam等自适应优化器。
50%待验证SGD和AdamW等通用优化器并未针对单遍、非平稳的数据分布设计，其更新规则无法有效平衡快速适应与抗遗忘的需求。
50%待验证对于随机梯度下降（SGD），该框架要么恢复、要么显著锐化作者所知的所有现有界限。
50%待验证在无限方差梯度下，SGD的收敛速度由尾部指数 t 决定，而非传统的 1/sqrt(n) 速率。
50%待验证论文的结果适用于状态依赖噪声和增长的观测时域，且对于任何可用的梯度矩 p>1，容许窗口非空。
50%待验证在无限方差 t ∈ (1,2) 情形下，SGD的中心波动尺度为 η^{1/t} 量级，极限为 t-稳定分布。
50%待验证论文推导出显式的投影和超额目标尾部、极端分位数，以及固定批大小 b 下的因子 b^{1-t}。
50%待验证论文通过一维到一百维的耦合模拟验证了理论结果，显示理论预测的尾部概率与实际模拟吻合良好。
50%待验证论文的显式尾部表达式可用于设计更鲁棒的优化算法，例如自适应步长或梯度裁剪策略。
50%待验证论文证明SGD迭代在中心波动尺度下收敛到稳定OU过程，并利用该极限刻画尾部概率。
50%待验证论文的主要结果是：对于正则变化创新（指数 t ∈ (1,2)），末次迭代的尾部概率由单一的大梯度冲击通过局部Hessian流传输所主导。
50%待验证随机梯度下降（SGD）、动量法、Adam 等优化器都是在基本梯度下降框架上改进更新策略的变体。
50%待验证SGD的迭代 $x_{k+1} = x_k - \eta \nabla f(x_k) + \eta \xi_k$ 在步长 $\eta \to 0$ 时，其轨迹可由一个SDE逼近：$dX_t = -\nabla f(X_t)\,dt + \sqrt{\eta}\,\Sigma\,dW_t$。
50%待验证速率迁移定理说明：若Lyapunov生成元不等式对系数$(b,\sigma)$成立，且SGD的更新算子与SDE系数满足一定的矩和光滑性匹配条件，则离散迭代的期望Lyapunov函数也以类似速率衰减，并给出显式的有限时间界。
50%待验证传统SGD分析将动量视为辅助变量或直接简化掉，忽略了动量状态自身作为递归变量携带的几何衰减记忆。
50%