mlx.nn.mish

目录

mlx.nn.mish#

class mish(x: array)#

逐元素应用 Mish 函数。

Mish: 一种自正则化的非单调神经网络激活函数。

参考:https://arxiv.org/abs/1908.08681

\[\text{Mish}(x) = x * \text{Tanh}(\text{Softplus}(x))\]