mlx.nn.LayerNorm

目录

mlx.nn.LayerNorm#

class LayerNorm(dims: int, eps: float = 1e-05, affine: bool = True, bias: bool = True)#

对输入应用层归一化 [1]。

计算

\[y = \frac{x - E[x]}{\sqrt{Var[x]} + \epsilon} \gamma + \beta,\]

其中 \(\gamma\) 和 \(\beta\) 是按特征维度学习的参数，分别初始化为 1 和 0。

[1]: https://arxiv.org/abs/1607.06450

参数:

  • dims (int) – 要进行归一化的输入特征维度

  • eps (float) – 用于数值稳定性的一个小的加性常数

  • affine (bool) – 如果为 True，则学习一个仿射变换在归一化后应用

  • bias (bool) – 如果为 True，则在仿射变换中包含一个平移项。如果设为 False，则变换不是真正的仿射变换，只是缩放。

方法

目录