mlx.nn.gelu#
- class gelu(x)#
应用高斯误差线性单元(GELU)函数。
\[\textrm{GELU}(x) = x * \Phi(x)\]其中 \(\Phi(x)\) 是高斯累积分布函数 (CDF)。
另请参阅
gelu_approx()
和gelu_fast_approx()
以获取更快的近似计算。
应用高斯误差线性单元(GELU)函数。
其中 \(\Phi(x)\) 是高斯累积分布函数 (CDF)。
另请参阅 gelu_approx()
和 gelu_fast_approx()
以获取更快的近似计算。