Cosine 学习率衰减（Cosine Learning Rate Decay）策略相较于步进式衰减（Step Decay），其主要优点是：
学习率衰减更为平滑，避免了学习率突变可能带来的训练波动
学习率衰减速度恒定，易于计算
仅适用于模型训练的最后阶段
能够完全取代学习率预热的作用