对于一个包含 K 个专家的稀疏激活 MoE 模型，所有专家参数量相同，门控网络每次选择 M 个专家（M<K）。评估该 MoE 模型的总参数量时，最主要的组成部分是：
仅考虑门控网络的参数量
仅考虑被激活的 M 个专家的参数量
所有 K 个专家的参数量加上门控网络的参数量
K 个专家中参数量最大的那个专家的参数量