梯度检查点(Gradient Checkpointing)技术在训练大模型时,其主要的权衡是:
减少模型参数量,以降低计算需求
增加模型参数量,以提升训练速度
牺牲部分计算时间(增加重计算量),以显著减少显存占用
提高计算精度,以避免数值不稳定