与半精度浮点(FP16)相比,BF16(Brain Floating Point)的主要特点是:
拥有与FP32相同的指数位宽度,因此数值范围更广,但精度较低
拥有与FP32相同的尾数位宽度,因此数值精度更高,但范围较窄
具有比FP32更小的指数位宽度和尾数位宽度
无法用于训练深度学习模型