SwiGLU
一种结合Swish激活函数与门控线性单元（GLU）的前馈网络激活函数，在多个大语言模型中表现优于ReLU和GeLU，被LLaMA、PaLM等模型采用
时间轴 (近 90 天)
开发者手动实现了RoPE、GQA、RMSNorm和SwiGLU四个LLaMa核心架构组件，没有依赖现成训练框架。
SwiGLU激活函数采用Swish变体加门控线性单元，在同等参数量下通常能带来更好的语言建模效果。
SwiGLU是Transformer中常用的门控激活，形式为SiLU(xW1) ⊗ (xW3)，其中SiLU包含指数运算，在BF16下容易损失精度。
研究在四个Qwen系列模型上进行了实验，结果显示同时对齐RoPE、SwiGLU、残差RMSNorm三个区域可以完全防止默认BF16基线下的训练崩溃。
该研究提出的方法在RoPE（旋转位置编码）、SwiGLU（激活函数）和残差RMSNorm三个关键区域，将选定的中间结果保留在FP32精度，直到其BF16输出阶段再进行舍入。
SwiGLU双负漏洞：当门控分支和值分支同时输出负值时，乘积为正，产生虚假的正向激活，被误读为多义性；修正该数学漏洞后神经元恢复单一功能。
在8B形状下带SwiGLU的gate/up投影上，FuTransformer的BF16路径比CODA快1.13倍，FP8路径比所评估的BF16 CODA路径快2.02至2.18倍。
RoPE、SwiGLU 和 GQA 是当前主流大模型（包括 Qwen 系列）广泛采用的结构组件
内核融合技术可将多个连续操作合并为一个 kernel，例如将 RoPE 与注意力计算融合、将 SwiGLU 的矩阵乘与激活融合，从而减少显存往返和调度开销
在MoE架构中门控激活调用次数随专家数量线性增长，使得SwiGLU/SiLU计算占比远高于稠密模型
还有 9 条时间轴事件
全部知识事实 (19)
开发者手动实现了RoPE、GQA、RMSNorm和SwiGLU四个LLaMa核心架构组件，没有依赖现成训练框架。
50%待验证SwiGLU激活函数采用Swish变体加门控线性单元，在同等参数量下通常能带来更好的语言建模效果。
50%待验证SwiGLU是Transformer中常用的门控激活，形式为SiLU(xW1) ⊗ (xW3)，其中SiLU包含指数运算，在BF16下容易损失精度。
50%待验证研究在四个Qwen系列模型上进行了实验，结果显示同时对齐RoPE、SwiGLU、残差RMSNorm三个区域可以完全防止默认BF16基线下的训练崩溃。
50%待验证该研究提出的方法在RoPE（旋转位置编码）、SwiGLU（激活函数）和残差RMSNorm三个关键区域，将选定的中间结果保留在FP32精度，直到其BF16输出阶段再进行舍入。
50%待验证SwiGLU双负漏洞：当门控分支和值分支同时输出负值时，乘积为正，产生虚假的正向激活，被误读为多义性；修正该数学漏洞后神经元恢复单一功能。
50%待验证在8B形状下带SwiGLU的gate/up投影上，FuTransformer的BF16路径比CODA快1.13倍，FP8路径比所评估的BF16 CODA路径快2.02至2.18倍。
50%待验证RoPE、SwiGLU 和 GQA 是当前主流大模型（包括 Qwen 系列）广泛采用的结构组件
50%待验证内核融合技术可将多个连续操作合并为一个 kernel，例如将 RoPE 与注意力计算融合、将 SwiGLU 的矩阵乘与激活融合，从而减少显存往返和调度开销
50%待验证在MoE架构中门控激活调用次数随专家数量线性增长，使得SwiGLU/SiLU计算占比远高于稠密模型
50%待验证在NVIDIA GB200平台上，路由专家SwiGLU任务完整训练步吞吐提升8.0%，为四个任务中收益最高
50%待验证不同模型在注意力机制、激活函数、归一化方式上存在差异（如GQA、RoPE、SwiGLU），每种变体都需要运行时框架提供对应算子实现
50%待验证Agnes-3.0-Flash 前馈网络使用 SwiGLU，中间维度 17408，每层并联一个 2048 维的 SwiGLU 分支
50%待验证Noam Shazeer的SwiGLU激活函数论文在结论部分将架构成功归功于「神圣的仁慈（divine benevolence）」
50%待验证该模型架构为交叉注意力 DiT（896 宽 × 16 层），使用 2D RoPE、QK-norm、SwiGLU、adaLN-single
50%待验证FFN前馈网络模块通过up层将向量升维（如4K→8K），经过激活函数（如SwiGLU门控激活），再通过down层降回原维度
50%待验证SwiGLU激活函数是现代主流大模型（如LLaMA）采用的前馈网络设计
50%待验证SwiGLU会增加约50%的前馈层参数量，但在相同计算预算下已被证明能持续提升模型质量，Meta的LLaMA和Google的PaLM均采用
50%待验证SwiGLU由Google研究员Noam Shazeer在2020年提出，将Swish激活函数与GLU结合
50%