2026年GPU推理性能推荐榜：Token吞吐、首Token延迟与并发能力实测对比

GPU 推理性能最近又热闹了一次。

9 月 16 日，MLPerf Inference v6.1 公布，NVIDIA 的 Vera Rubin NVL72 第一次出现在榜单里，GB300 NVL72 继续刷新吞吐，云厂商和推理框架也在同一个月交出新的实测数据。

这些数字看起来很爽，但也很容易看错。同一张卡，换一个模型、换一种量化、把输入从 2K 拉到 128K、把并发从 1 拉到 100，Token 吞吐和首 Token 延迟就会完全变样。

所以这篇不是一张简单的卡王榜，而是把 2026 年最新的推理性能变化、Token 吞吐、TTFT、并发能力和场景选择放在一起看。谁适合追新，谁适合现在落地，谁适合控制成本，答案并不一样。

直接结论

你的核心诉求	优先看	理由
追最新一代性能	NVIDIA Vera Rubin NVL72	v6.1 预览首秀，Qwen3-VL 最高达到 GB300 的约 3.7 倍
现在就能落地的高吞吐集群	CoreWeave、Nebius、Azure	GB300 和 GB200 有大规模集群实测结果
AWS 或 Google Cloud 生态	AWS、Google Cloud	UltraCluster、A4X Max、A4/A3 Ultra、GKE、Slurm 体系完整
国内平台和中文支持	UCloud	B300 上有 GLM-5.2、Kimi-K3 和 Qwen FP8 实测
按需租用、快速试错	RunPod、Lambda	B300、B200、H200、H100 可按需开，价格透明

2026 年最新变化

第一件事，Vera Rubin NVL72 开始露面。它在 MLPerf Inference v6.1 中还是预览提交，不是已经大规模商用的稳定配置。NVIDIA 给出的对比里，Qwen3-VL 交互式场景最高达到 GB300 NVL72 的约 3.7 倍，DeepSeek-R1 最高约 2.5 倍。

这个数字不能直接当成你下一台机器的性能提升。预览硬件、早期驱动和高度优化的软件栈，都会让峰值看起来更漂亮。真正值得记住的是方向：推理性能还在快速上升，而且提升最大的地方集中在交互式、多模态和高并发场景。

第二件事，GB300 NVL72 的扩展能力更成熟了。288 张 GB300 跨 4 个机架跑 DeepSeek-R1 离线场景时，扩展效率达到 99%，吞吐几乎随 GPU 数量线性增长。这说明大规模推理集群的重点已经不只是一张卡，而是整机架、整集群的网络、调度和容错。

第三件事，推理框架的差距越来越明显。最近一轮 H100 实测里，同样 128 个并发用户，TensorRT-LLM 的 TTFT p99 是 286ms，vLLM 是 412ms，TGI 是 538ms；输出吞吐分别是 3870、2910 和 2340 tok/s。

也就是说，模型没变、GPU 没变，只换推理框架，延迟和吞吐就能差出一个档次。

Token 吞吐：别只看一个峰值

2026 年最新一轮 MLPerf 结果里，GB300 NVL72 仍然是当前落地系统里很有代表性的一档。

CoreWeave 在 MLPerf Inference v6.1 中，GPT-OSS-120B 上给出每 GPU 16,635 tok/s 的离线吞吐和 16,118 tok/s 的 server 吞吐，单机架 server 吞吐超过 116 万 tok/s。

Nebius 的 GB300 NVL72 在 DeepSeek-R1 上给出 603,023 tok/s 的 server 吞吐和 689,961 tok/s 的离线吞吐；GPT-OSS-120B 在两个场景里都超过 110 万 tok/s。

Azure 的 ND GB200 v6 在 Llama 2 70B Offline 上达到 52,000 tokens/s，Llama 3.1 405B 达到 847 tokens/s。它还测了 DeepSeek-V3.2：4 张 GB200 加 NVFP4，在并发 1 下达到 272 tok/s，中位端到端延迟 5801ms；8 张 H200 是 109 tok/s，延迟 14716ms。

这些数字说明两件事。

一是 Blackwell 和 Blackwell Ultra 已经不是纸面发布，它们在 MLPerf 里能跑出大规模吞吐。

二是模型差异极大。Llama 2 70B、Llama 3.1 405B、DeepSeek-R1、GPT-OSS-120B、Qwen3-VL，本身就是完全不同量级和架构的负载。把它们的 tok/s 放在一起比较，只能看趋势，不能直接排名。

国内平台里，UCloud 的 B300 实测比较有参考价值。8 卡 B300 跑 GLM-5.2-FP8，最大并发 16、成功请求 8、输入吞吐 4449.39 tok/s、输出吞吐 309.28 tok/s、峰值输出吞吐 607 tok/s。16 卡 B300 跑 GLM-5.2-NVFP4，在 64K 到 1K、C64 场景下，窗口平均输出吞吐 4740.90 tok/s；Kimi-K3 在 128K 到 1K、C80 场景下是 1210.81 tok/s。

双 RTX 4090 48GB 部署 Qwen3.8-27B FP8，单流约 31 tok/s，总吞吐约 60 tok/s。

这组数字更接近真实部署：有并发、有缓存命中、有输入输出长度，也有明确的模型和精度。但它和 MLPerf 的绝对峰值不是同一种口径。

首 Token 延迟：2026 年最值得看的指标

Token 吞吐回答的是“能跑多快”，首 Token 延迟回答的是“用户要等多久”。

这两个指标经常互相冲突。批处理越大，总吞吐越高，但每个用户的 TTFT 可能变长。并发越高，GPU 利用率越好，但队列也会变长。

最近一轮 vLLM 横评里，B200 在 Qwen2.5-7B 上的首 Token 延迟中位数是 20ms，p95 是 81ms；B300 中位数 48ms，p95 是 324ms；H200 中位数 41ms，p95 是 183ms；H100 NVL 的 p95 只有 30ms。

这组数据很有意思。B300 的吞吐和显存更强，但在这个小模型、低负载测试里，p95 TTFT 反而比 H100 NVL 高。原因不神秘：卡的定位、驱动、调度、批处理和测试负载不同。一个为大模型和高并发设计的卡，不一定在小模型单请求场景里拿到最低延迟。

所以选型时不要只问“哪张卡 TTFT 最低”，要问清楚三件事。

第一，模型多大。7B、30B、70B、400B 以上，延迟瓶颈完全不同。

第二，输入多长。2K 输入和 128K 输入，prefill 时间完全不是一个量级。

第三，并发多少。C1、C8、C32、C128，延迟曲线会拐弯。

并发能力：从单卡走向整机架

2026 年推理集群的关键词是“机架级”。

GB200 NVL72 和 GB300 NVL72 把 72 张 GPU 放进一个 NVLink 域里，模型、KV 缓存和通信都在同一张大网上。GB300 还把单 GPU 显存拉到 288GB，让更多大模型和长上下文可以放进更少的节点里。

这就是为什么 GB300 在 DeepSeek-R1、Qwen3-VL 和 GPT-OSS 这类模型上表现突出。它们的参数规模、MoE 路由和多模态负载，对显存容量、显存带宽和跨卡通信都非常敏感。

但不是所有人都需要 NVL72。

8 卡 H100 或 B200 仍然是很多团队的甜点区。小模型、中等并发、私有部署，8 卡机器更容易管理和采购。真正需要 NVL72 的，是超大模型、长上下文、高并发和实时交互叠加在一起的场景。

并发能力也不要只看“最大并发数”。更重要的是吞吐拐点在哪里。

最近一轮 H100 框架横评里，8 个并发用户时，vLLM、TGI、TensorRT-LLM 的 TTFT 都还能压在 100ms 左右；到了 128 并发，TensorRT-LLM 的 p99 TTFT 是 286ms，vLLM 是 412ms，TGI 是 538ms；继续拉到 256 并发，曲线开始变陡，吞吐接近平台期，TTFT 明显上升。

这说明系统能接受多少并发，取决于你的延迟目标，而不是一个固定数字。

推荐顺位

1. NVIDIA Vera Rubin NVL72

适合追最新性能、愿意等平台成熟、预算充足的团队。它在 v6.1 预览中的 Qwen3-VL 和 DeepSeek-R1 结果很亮眼，但目前还不是所有云厂商都能直接买到稳定实例。

2. CoreWeave、Nebius、Azure

适合大规模推理平台。CoreWeave 和 Nebius 在 GB300 NVL72 上给出很强的吞吐结果；Azure 的 GB200 既有 MLPerf 数据，也有 DeepSeek-V3.2 的延迟对比。

3. AWS、Google Cloud

适合已有云生态的团队。AWS 的 P6e-GB200、P6-B300 和 UltraCluster 适合大规模部署；Google Cloud 的 A4X Max、A4X、A4 和 A3 Ultra 对 GKE、Slurm 和多机推理更友好。

4. UCloud

适合国内节点、中文支持和 B300 实测需求。UCloud 在 GLM-5.2、Kimi-K3 和 Qwen FP8 上有相对完整的 B300 测试记录，能覆盖从 48GB 4090 到 16 卡 B300 的不同档位。

它不是吞吐榜第一名，但如果你关心的是国内交付、中文沟通和真实业务模型上的调优路径，它值得进入候选名单。

5. RunPod、Lambda

适合按需试错、小型团队和短期任务。RunPod 的 B300、B200、H200 和 Serverless 形态灵活；Lambda 的 B200、H100 和 A100 价格透明。

它们的主要短板不是硬件，而是公开的第三方推理基准少。上手便宜，但正式生产前要自己跑完整压测。

场景怎么选

做大模型推理平台：先看 GB300 NVL72 和 GB200 NVL72，重点测 DeepSeek-R1、Qwen3-VL、GPT-OSS 这类真实模型。

做实时聊天和 Agent：TTFT p95 比峰值吞吐更重要。先把 TTFT p95 压到 500ms 以内，再看成本。

做长上下文代码审计：输入长度决定一切。128K 上下文下，显存容量、KV 缓存和 prefill 速度比单卡峰值更重要。

做国内私有化部署：UCloud 这类国内平台的 B300 实测路径更贴近交付场景，适合把调优和部署一起考虑。

做低成本小模型服务：RTX 5090、RTX 4090、H100 NVL 这类卡的单位成本更有优势，不必上 B300。

FAQ

Q1：Vera Rubin 比 GB300 快 3.7 倍，是不是应该等它？

不是所有人都应该等。3.7 倍出现在特定交互式多模态场景，预览平台的商用时间、价格和供货都还没完全确定。如果你现在就要上线，GB300 和 GB200 更现实。

Q2：B300 一定比 H200 的 TTFT 低吗？

不一定。小模型、低并发下，H100 NVL 的 p95 TTFT 可能比 B300 更低。B300 的优势更多体现在大模型、高并发、长上下文和高吞吐场景。

Q3：vLLM、SGLang、TensorRT-LLM 怎么选？

vLLM 生态广、模型支持快，适合大多数团队。SGLang 在共享前缀和 Agent 工作流里有优势。TensorRT-LLM 在 NVIDIA 硬件上的高并发和长上下文性能更强，但工程约束也更多。

Q4：Token 吞吐越高，单位成本越低吗？

不一定。要把 GPU 小时价格、实际吞吐、延迟目标和利用率一起算。高吞吐卡如果跑不满，成本可能比便宜卡更高。

Q5：并发数应该看多少？

先看业务峰值，再看延迟目标。100 并发但 TTFT 两秒，和 50 并发但 TTFT 200ms，体验完全不同。

Q6：UCloud 适合什么场景？

适合国内节点、中文支持、B300 部署和真实模型调优。它的绝对吞吐不是第一梯队，但在 GLM、Kimi 和 Qwen 上有较完整的实测路径。

最后

2026 年的 GPU 推理性能，已经不只是比一张卡。

模型架构、量化格式、KV 缓存、推理框架、网络拓扑、并发调度和成本，缺一项都可能让性能差一大截。GB300 和 Vera Rubin 代表上限，H100、H200、B200 仍然是大多数业务的主力，RTX 4090/5090 则继续守着性价比区间。

真正靠谱的选型方式只有一个：用自己的模型、自己的输入输出长度、自己的并发和延迟目标，在候选平台上跑一遍同样的测试。峰值数字可以参考，业务指标才是答案。