mlx.nn.QuantizedEmbedding

class QuantizedEmbedding(num_embeddings: int, dims: int, group_size: int = 64, bits: int = 4)

与 Embedding 相同，但使用量化权重矩阵。

QuantizedEmbedding 还提供 from_embedding() 类方法，用于将 embedding 层转换为 QuantizedEmbedding 层。

参数：

• num_embeddings (int) – 可以嵌入多少个可能的离散 token。通常称为词汇表大小。

• dims (int) – 嵌入的维度。

• group_size (int, 可选) – 用于量化权重的组大小。详见 quantize()。默认值：64。

• bits (int, 可选) – 用于量化权重的位宽。详见 quantize()。默认值：4。

方法

as_linear(x)	将量化嵌入层作为量化线性层调用。
from_embedding(embedding_layer[, ...])	从 Embedding 层创建一个 QuantizedEmbedding 层。