mlx.nn.gelu_approx

class gelu_approx(x)

高斯误差线性单元 (Gaussian Error Linear Unit) 的一个近似。

精确计算请参见 gelu()。

此函数使用以下公式在区间 \([-6, 6]\) 内以最大绝对误差 \(< 0.0005\) 近似计算 gelu：

\[x = 0.5 * x * \left(1 + \text{Tanh}\left((\sqrt{2 / \pi} * \left(x + 0.044715 * x^3\right)\right)\right)\]