快速

快速#

rms_norm(x, weight, eps, *[, stream])

均方根归一化 (RMS norm)。

layer_norm(x, weight, bias, eps, *[, stream])

层归一化。

rope(a, dims, *, traditional, base, scale, ...)

将旋转位置编码应用于输入。

scaled_dot_product_attention(q, k, v, *, scale)

多头注意力的一种快速实现:O = softmax(Q @ K.T, dim=-1) @ V

metal_kernel(name, input_names, ...[, ...])

从源字符串定义的 JIT 编译的自定义 Metal 内核。