mlx.nn.QuantizedLinear

class QuantizedLinear(input_dims: int, output_dims: int, bias: bool = True, group_size: int = 64, bits: int = 4)

使用量化权重矩阵对输入应用仿射变换。

它是 mlx.nn.Linear 的量化等效项。目前它的参数是冻结的，不会包含在任何梯度计算中，但这在将来可能会改变。

QuantizedLinear 还提供了一个类方法 from_linear()，用于将线性层转换为 QuantizedLinear 层。

参数:

• input_dims (int) – 输入特征的维度。

• output_dims (int) – 输出特征的维度。

• bias (bool, 可选) – 如果设置为 False，则该层不使用偏置。默认值: True。

• group_size (int, 可选) – 用于量化权重的分组大小。参见 quantize()。默认值: 64。

• bits (int, 可选) – 用于量化权重的位宽。参见 quantize()。默认值: 4。

方法

from_linear(linear_layer[, group_size, bits])

从 Linear 层创建 QuantizedLinear 层。