关于自监督学习与预训练任务,下列说法最准确的是:
自回归语言建模通常根据前文预测下一个词元,掩码预测通常根据上下文恢复被遮盖的词元
对比学习主要要求模型记住每个样本的人工类别标签,与表示学习关系较弱
掩码预测和自回归预测的训练目标差异较小,主要只是名称不同
预训练任务通常只用于图像模型,在语言模型中参考价值较小