关于指令微调中的资源消耗估算,下列描述正确的是:
模型微调所需的显存主要包括模型参数、梯度、优化器状态和激活值四个部分
微调 7B 参数的模型和 70B 参数的模型所需的显存完全相同
增加批次大小不会影响显存消耗
使用全参数微调和使用 LoRA 微调所需的显存完全一致