某推理服务每步设置batch=48、平均序列长度3072 token，单步耗时3.0s。系统每执行5步还会触发一次额外checkpoint同步，耗时1.5s。按长期平均计算，系统吞吐量最接近：
38.4k token/s
44.7k token/s
49.2k token/s
56.3k token/s