BatchNorm
深度学习中用于稳定训练动态的归一化技术，在小批量上计算激活值的均值与方差，对特征进行重新中心化和缩放，抑制梯度异常
时间轴 (近 90 天)
更新归一化统计量在处理损坏图像时往往能提升性能，但一旦批次中某个类别占据主导，这种干预反而会严重损害准确率。
实践共识倾向：小数据集、小 batch 时冻结 BN 统计量；数据量充足且 batch size 较大时，允许 BN 层更新。
微调时若将 BatchNorm 层设为 train 模式，running mean 和 running variance 会被当前小批量数据的统计量重新估计并覆盖；当 batch size 较小时（如 8 或 16），会导致 running 统计量剧烈漂移，破坏已学到的归一化基准，表现为 loss 震荡甚至精度骤降。
神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
模型重参数化的经典例子包括将卷积层与后续BatchNorm层融合为单个卷积操作，或利用线性代数恒等变换重组矩阵乘法顺序。
本文的 128×128 CelebA 版本调整了步长使潜在特征图变为 8×8×256，并在每个卷积后加入 BatchNorm 和 LeakyReLU，其中 BatchNorm 是额外添加而非论文原文描述
2017年Guo等人的论文《On Calibration of Modern Neural Networks》系统性揭示了模型深度增加、BatchNorm层使用和更长训练周期都会加剧校准不良
残差连接（ResNet）于2015年引入，与BatchNorm和ReLU等激活函数一起有效缓解了梯度消失问题
BatchNorm由Ioffe和Szegedy于2015年提出，通过对每层输出归一化缓解梯度消失和梯度爆炸问题
Yang等人2019年的工作指出BatchNorm在训练初期可能反而引入新的梯度不稳定性
全部知识事实 (10)
更新归一化统计量在处理损坏图像时往往能提升性能，但一旦批次中某个类别占据主导，这种干预反而会严重损害准确率。
50%待验证实践共识倾向：小数据集、小 batch 时冻结 BN 统计量；数据量充足且 batch size 较大时，允许 BN 层更新。
50%待验证微调时若将 BatchNorm 层设为 train 模式，running mean 和 running variance 会被当前小批量数据的统计量重新估计并覆盖；当 batch size 较小时（如 8 或 16），会导致 running 统计量剧烈漂移，破坏已学到的归一化基准，表现为 loss 震荡甚至精度骤降。
50%待验证神经网络中的归一化层（BatchNorm、LayerNorm）在训练过程中持续进行数据净化，通过批量统计量对噪声进行平滑估计，异常样本对整体均值方差的扰动会被大量正常样本稀释。
50%待验证模型重参数化的经典例子包括将卷积层与后续BatchNorm层融合为单个卷积操作，或利用线性代数恒等变换重组矩阵乘法顺序。
50%待验证本文的 128×128 CelebA 版本调整了步长使潜在特征图变为 8×8×256，并在每个卷积后加入 BatchNorm 和 LeakyReLU，其中 BatchNorm 是额外添加而非论文原文描述
50%待验证2017年Guo等人的论文《On Calibration of Modern Neural Networks》系统性揭示了模型深度增加、BatchNorm层使用和更长训练周期都会加剧校准不良
50%待验证残差连接（ResNet）于2015年引入，与BatchNorm和ReLU等激活函数一起有效缓解了梯度消失问题
50%待验证BatchNorm由Ioffe和Szegedy于2015年提出，通过对每层输出归一化缓解梯度消失和梯度爆炸问题
50%待验证Yang等人2019年的工作指出BatchNorm在训练初期可能反而引入新的梯度不稳定性
50%