基础题库

ZeRO（Zero Redundancy Optimizer）优化器，特别是 ZeRO-2、ZeRO-3，主要目标是在数据并行训练的基础上，进一步减少什么方面的冗余？

与单精度浮点（FP32）相比，半精度浮点（FP16）在训练大模型时带来的主要优势是：

与半精度浮点（FP16）相比，BF16（Brain Floating Point）的主要特点是：

完全分片数据并行（Fully Sharded Data Parallelism, FSDP）与传统数据并行相比，其核心优势在于：

在分布式训练中，通信开销是影响训练速度的关键瓶颈之一。以下哪项技术不是主要用于减少通信开销的？

关于语言模型中的概率分布与采样，下列说法正确的是：

关于给定概率分布下的采样方法，下列描述正确的是：

关于指令微调的核心概念，下列说法正确的是：

关于指令微调与多任务学习的关系，下列描述正确的是：

关于指令数据的合成方法，下列说法正确的是：