与单精度浮点（FP32）相比，半精度浮点（FP16）在训练大模型时带来的主要优势是：
提高模型训练的最终精度，使其超越 FP32
显著减少显存占用和提高计算速度
能够无损地表示更大的数值范围
简化了模型的反向传播过程