概念Batch Normalization / BN
批归一化
深度学习中常用的归一化技术，通过对小批量激活值标准化并施加可学习仿射变换来稳定训练、加速收敛
时间轴 (近 90 天)
11月3日
原论文提出用从自然图像学习到的仿射参数来归一化噪声图像，而不是让噪声图像独立计算批归一化统计量。
待验证50%
11月3日
复现结果显示，使用自然图像仿射参数归一化噪声图像的专用批归一化层方法优于基线做法。
待验证50%
11月2日
层归一化对每个样本的特征维度做归一化，稳定训练过程，与批归一化不同，它不依赖批大小，更适合序列长度可变的任务。
待验证50%
10月14日
收敛失败是一个多因问题，学习率、优化器选择、批归一化缺失、数据未归一化以及权重初始化不当都可能导致损失长期不下降或剧烈震荡。
待验证50%
10月12日
应对梯度消失的常见方案包括使用ReLU及其变体替代sigmoid、批归一化以及残差连接（ResNet核心思想）
待验证50%