mlx.nn.gelu_fast_approx

class gelu_fast_approx(x)

高斯误差线性单元的一种快速近似。

有关精确计算，请参阅 gelu()。

此函数使用以下公式近似 gelu，在范围 \([-6, 6]\) 内的最大绝对误差小于 \(< 0.015\)

\[x = x \sigma\left(1.702 x\right)\]

其中 \(\sigma(\cdot)\) 是 logistic sigmoid 函数。

参考文献： - hendrycks/GELUs - https://arxiv.org/abs/1606.08415