mlx.nn.RMSNorm

class RMSNorm(dims: int, eps: float = 1e-05)

对输入应用均方根归一化 [1]。

计算公式为

\[y = \frac{x}{\sqrt{E[x^2] + \epsilon}} \gamma\]

其中 \(\gamma\) 是一个学习到的逐特征维度参数，初始化为 1。

注意：均方的累加计算在 32 位精度下进行。

[1]: https://arxiv.org/abs/1910.07467

参数：

• dims (int) – 要进行归一化的输入特征维度

• eps (float) – 用于数值稳定性的一个小的附加常数

方法