关于 Transformer 模型中的归一化和激活函数配置,下列说法正确的是:
RMSNorm 相比 LayerNorm 省去了均值的计算,仅使用均方根进行归一化,计算效率更高
LayerNorm 和 RMSNorm 的计算方式完全相同,没有区别
GELU 激活函数与 ReLU 完全一致,都在负数区域输出恒为零
Pre-Norm 和 Post-Norm 的区别仅在于是否使用归一化,放置位置无影响