概念Layer Normalization / LayerNorm / LN
层归一化
层归一化是一种神经网络归一化技术，对每个样本在特征维度上进行均值为零、方差为一的标准化处理，使各层激活值保持稳定，广泛用于Transformer等序列模型的训练稳定化
时间轴 (近 90 天)
11月2日
层归一化对每个样本的特征维度做归一化，稳定训练过程，与批归一化不同，它不依赖批大小，更适合序列长度可变的任务。
待验证50%
10月28日
残差连接缓解了深层网络的梯度消失问题，层归一化对每个token的向量进行归一化（均值为0、方差为1）以稳定训练动态。
待验证50%
9月11日
层归一化对每个样本在特征维度上做均值为零、方差为一的标准化
待验证50%
全部知识事实 (5)
待验证
层归一化对每个样本的特征维度做归一化，稳定训练过程，与批归一化不同，它不依赖批大小，更适合序列长度可变的任务。
50%待验证残差连接缓解了深层网络的梯度消失问题，层归一化对每个token的向量进行归一化（均值为0、方差为1）以稳定训练动态。
50%待验证层归一化对每个样本在特征维度上做均值为零、方差为一的标准化
50%待验证GPT-2引入了Pre-LN（前置层归一化）设计，相比原始Transformer的Post-LN，将LayerNorm置于残差块内部的子层之前，改善了深层网络的梯度流动稳定性
50%待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果
50%