mlx.optimizers.RMSprop

目录

mlx.optimizers.RMSprop#

class RMSprop(learning_rate: float | Callable[[array], array], alpha: float = 0.99, eps: float = 1e-08)#

RMSprop 优化器 [1]。

[1]: Tieleman, T. 和 Hinton, G. 2012. 课程 6.5-rmsprop, coursera: 机器学习神经网络

\[\begin{split}v_{t+1} &= \alpha v_t + (1 - \alpha) g_t^2 \\ w_{t+1} &= w_t - \lambda \frac{g_t}{\sqrt{v_{t+1}} + \epsilon}\end{split}\]
参数:

  • learning_rate (float 或 callable) – 学习率 \(\lambda\)。

  • alpha (float, 可选) – 平滑常数 \(\alpha\)。默认值: 0.99

  • eps (float, 可选) – 添加到分母中以提高数值稳定性的项 \(\epsilon\)。默认值: 1e-8

方法

__init__(learning_rate[, alpha, eps])

apply_single(gradient, parameter, state)

执行 RMSprop 参数更新并将 \(v\) 存储在优化器状态中。

init_single(parameter, state)

初始化优化器状态
目录