MX Microscaling¶
编码格式¶
共享缩放因子机制¶
Scale Factor X 以块共享方式应用于量化数据，具体配置如下：
核心参数¶
- 共享范围：
k = 32个连续元素共享同一缩放因子 - 应用格式：
✅MX-FP4(4-bit)
✅MX-FP6(6-bit)
✅MX-FP8(8-bit)
内存优化原理¶
[ 元素块结构示意 ]
+------------+-------------------+
| Scale_X | 32个元素 |
| (E8M0格式) | (MX-FP4/6/8格式) |
+------------+-------------------+
数据表示公式¶
Scale X = 2^(E-127)
编码映射表¶
| 数据范围 | 编码 (E) | 实际表示值 | 数值说明 |
|---|---|---|---|
| Zero | – | – | 零值 |
| Minimum | 00000000 |
2^-127 | 最小标准化值 |
| Maximum | 11111110 |
2^127 | 最大标准化值 |
| Infinity | – | – | 无穷 |
| NaN | 11111111 |
– | 非数值 (Not a Number) |
关键说明¶
- 指数范围：
- 有效指数范围 E ∈ [0, 254]（
00000000至11111110） - 全零编码 (
00000000) 保留给最小标准化值 - 全一编码 (
11111111) 保留给NaN
- 有效指数范围 E ∈ [0, 254]（
- 精度特性：
- 无尾数位（M0），所有数值均为2的整数次幂
- 计算公式说明：
- 当
E = 0时：Scale X = 2^(-127) ≈ 5.877e-39 - 当
E = 254时：Scale X = 2^(127) ≈ 1.701e+38
- 当