GELU
一种平滑的激活函数，基于高斯误差函数，常用于Transformer等现代架构，在NLP任务中表现优异。
时间轴 (近 90 天)
早期回归实验中固定学习率下PreCap看起来远优于SiLU和GELU，但当每个激活函数获得各自调优的学习率后，这一优势完全消失。
非标准激活函数（如 Swish、GELU 的变体或自定义门控机制）、注意力机制变体（Q/K/V 维度不对称或引入额外缩放因子）、动态路由层（如 Capsule Network 的路由协议、Mixture of Experts 的门控网络）是初始化最容易出问题的自定义层场景。
GELU被用于BERT和GPT系列等知名语言模型。
Transformer架构中，GELU或Swish几乎成为前馈层的标准配置。
逻辑回归固定使用 sigmoid 函数，而神经网络的神经元可以使用 ReLU、tanh、GELU 等各种激活函数
MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
全部知识事实 (6)
早期回归实验中固定学习率下PreCap看起来远优于SiLU和GELU，但当每个激活函数获得各自调优的学习率后，这一优势完全消失。
50%待验证非标准激活函数（如 Swish、GELU 的变体或自定义门控机制）、注意力机制变体（Q/K/V 维度不对称或引入额外缩放因子）、动态路由层（如 Capsule Network 的路由协议、Mixture of Experts 的门控网络）是初始化最容易出问题的自定义层场景。
50%待验证GELU被用于BERT和GPT系列等知名语言模型。
50%待验证Transformer架构中，GELU或Swish几乎成为前馈层的标准配置。
50%待验证逻辑回归固定使用 sigmoid 函数，而神经网络的神经元可以使用 ReLU、tanh、GELU 等各种激活函数
50%待验证MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
50%