某预训练任务初始批次大小(Batch Size)为256,采用梯度累积(Gradient Accumulation)策略每4步更新一次,实际等效批次大小是多少?若改为动态调整策略,在训练中期将批次大小增至512,请计算梯度累积步数应如何调整以保持等效批次大小不变?
等效1024,累积步数改为2步
等效512,累积步数改为2步
等效1024,累积步数改为8步
等效512,累积步数改为8步