mlx.nn.glu

目录

mlx.nn.glu#

class glu(x: array, axis: int = -1)#

应用门控线性单元函数。

此函数将输入的 axis 维度分割成两半(\(a\)\(b\)),然后应用 \(a * \sigma(b)\)

\[\textrm{GLU}(x) = a * \sigma(b)\]
参数:

axis (int) – 要沿其分割的维度。默认值:-1