某14B模型在BF16下权重占用约28GB。若改为INT4后,权重本体理论占用缩至1/4;另外需要1.6GB量化标尺开销与0.9GB元数据开销;并预计运行时碎片化额外增加15%(按"量化后权重本体+固定开销"计)。则总占用最接近:
9.5 GB
10.2 GB
10.9 GB
12.4 GB