mlx.optimizers.Optimizer.init

mlx.optimizers.Optimizer.init#

Optimizer.init(parameters: dict)#

初始化优化器的状态

此函数可用于初始化具有状态的优化器(如 SGD 中的动量)。使用此方法是可选的,因为如果状态尚未设置,优化器将自行初始化。但是,在某些情况下,显式初始化很有用,以便在第一次调用 Optimizer.update() 之前可以访问 Optimizer.state

参数

model (dict) – 参数的 Python 树。

示例

>>> optimizer = optim.SGD(learning_rate=1e-1, momentum=0.9)
>>> model = nn.Linear(2, 2)
>>> optimizer.init(model.trainable_parameters())
>>> optimizer.state.keys()
dict_keys(['step', 'learning_rate', 'weight', 'bias'])