Unverified50% confidenceSolutionExact time
When ε ≈ 0, the second-moment estimate fully dominates and the optimizer reverts to standard Adam.
1
Sources
50%
Confidence
Long-term
Relevance
9/12/2026
First Seen
Sources
Related Entities
Related Claims
UnverifiedAdam的一阶矩衰减系数β₁通常默认为0.973% similarUnverifiedAdam 优化器由 Kingma 和 Ba 于 2014 年提出，同时维护梯度的一阶矩估计与二阶矩估计，并通过偏差修正项处理训练初期矩估计偏向零的问题70% similarUnverifiedAdam的二阶矩估计记录梯度平方的指数移动平均，反映梯度的波动幅度68% similarUnverified从零实现 Adam 需要处理偏差校正（bias correction），因为初始阶段 m 和 v 被初始化为零导致估计偏低66% similarUnverifiedAdam 优化器的内存开销是 SGD 的三倍，这一代价催生了 Adafactor、8-bit Adam 等低内存优化器变体65% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/914988API
curl https://kongchang.com/api/v1/knowledge/claims/914988MCP
get_claim(id=914988)