随机梯度下降(Stochastic Gradient Descent,SGD)是机器学习和深度学习中广泛使用的一种优化算法,用于最小化模型的损失函数。其核心思想是每次迭代从训练数据中随机采样一个或一小批样本(mini-batch)来估计梯度,并沿梯度反方向更新模型参数。SGD具有计算开销低、内存占用小的特点,适用于大规模数据训练,是神经网络训练的基础优化方法之一。