ZeRO(Zero Redundancy Optimizer)优化器,特别是 ZeRO-2、ZeRO-3,主要目标是在数据并行训练的基础上,进一步减少什么方面的冗余?
模型参数的冗余
梯度的冗余
优化器状态的冗余
以上各项(通过对模型状态进行分片)