FP16¶
说明¶
该数据格式为 16位半精度浮点数表示格式，遵循IEEE 754-2008标准规范。
二进制结构¶
FP16的二进制结构包含1bit符号位、5bit指数和10bit尾数，简写为E5M10。示意图如下：
数值范围¶
FP16的指数偏移为15，可以表达的数值通过公式定义如下。
1.对于规格化浮点数： $$ Value = (−1)^S x 2^{E−15} x (1 + \Sigma_{i=0}^9 m_i x 2^{-10+i}) $$
2.对于非规格化浮点数： $$ Value = (−1)^S x 2^{E−15+1} x \Sigma_{i=0}^9 m_i x 2^{-10+i} $$
其中：
- S ∈ {0,1}。
- E ∈ [0, 31]，但全0 和全1 用于特殊值。
- $m_i$ 是尾数的第ibit，i ∈ [0, 9]。
FP16的取值范围为：
| 数值 | S | Exponent | Mantissa | 表达范围 |
|---|---|---|---|---|
| 零值(Zeros) | 0/1 | 5'h00 | 10'h000 | $\pm$0 |
| 最小非规格数(Min Subnormal) | 0/1 | 5'h00 | 10'h001 | $\pm$2^{-10} x 2^{-14} |
| 最大非规格数(Max Subnormal) | 0/1 | 5'h00 | 10'h3FF | $\pm$(2^{-1} + 2^{-2} + ... + 2^{-10}) x 2^{-14} |
| 最小规格数(Min Normal) | 0/1 | 5'h01 | 10'h000 | $\pm$2^{-14} |
| 最大规格数(Max Normal) | 0/1 | 5'h1E | 10'h3FF | $\pm$(1 + 2^{-1} + 2^{-2} + ... + 2^{-10}) x 2^15 |
| 无穷值(Infinities) | 0/1 | 5'h1F | 10'h000 | $\pm$ $\infty$ |
| 非数(NaN) | 0/1 | 5'h1F | !=0 | Not a Number |
注意¶
当数值超出范围时会发生溢出（Overflow）或下溢（Underflow）