已验证70% 置信事实精确时间
梯度下降是机器学习中最核心的优化算法，学习率过大会导致震荡、过小则收敛缓慢
4
来源数
70%
置信度
长期有效
时效性
2026/8/6
首次发现
来源
相关事实
待验证小批量梯度下降是批量和随机梯度下降的折衷，也是深度学习框架中最常用的方式79% 相似待验证自然梯度下降利用费舍尔信息矩阵对参数空间进行度量校正，是许多优化方法的理论基石，应用于变分推断和强化学习的策略优化77% 相似待验证阶梯衰减则是在预设的迭代节点上将学习率按固定比例（如乘以 0.1）下调，实现简单、行为可预测，属于开环、经验驱动的调度。75% 相似待验证随机梯度下降（SGD）是机器学习优化的基石，其收敛率的严格分析通常依赖于鞅论或集中不等式等繁琐的概率推导。74% 相似已验证梯度下降衍生出批量梯度下降、随机梯度下降和小批量梯度下降三种主要变体，Adam优化器是在动量与自适应学习率基础上的综合改进74% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/699069API
curl https://kongchang.com/api/v1/knowledge/claims/699069MCP
get_claim(id=699069)