# 2026 GPU 云厂商横评：A100、H800、4090 租赁价格与可用性对比 > 作者/来源: UCloud 运营管理员 > 发布时间: 2026-11-10T08:35:33.560Z > 分类: GPU > 原文链接: http://117.50.162.249:3000/yun/articles/2892 --- RTX 4090、A100 80GB 和 H800 80GB 经常被放进同一张租卡价目表，但它们其实来自三个不同的产品时代，也服务三种不同任务。 4090 是消费级旗舰，单卡便宜、单精度强，适合推理、LoRA 和内容生成；A100 是成熟的数据中心卡，显存大、带宽高、支持 NVLink 和 MIG；H800 是 Hopper 架构的数据中心卡，Tensor 算力更高，面向大规模训练和高吞吐推理。 只看每卡每小时价格，很容易得出错误结论。真正决定体验的至少包括四项：显存容量、显存带宽、Tensor 算力，以及卡间互联。 ## 三张卡的核心规格 | 参数 | RTX 4090 | A100 80GB | H800 80GB | |---|---|---|---| | 架构 | Ada Lovelace | Ampere | Hopper | | 显存 | 24GB GDDR6X | 80GB HBM2e | 80GB HBM3 | | 显存带宽 | 1,008 GB/s | 1.94 到 2.04 TB/s | SXM 级约 3.35 TB/s | | FP32 | 82.6 TFLOPS | 19.5 TFLOPS | 64 TFLOPS | | FP16/BF16 Tensor | 165.2 稠密 / 330.3 稀疏 TFLOPS | 312 稠密 / 624 稀疏 TFLOPS | 约 989 TFLOPS | | GPU 互联 | 无 NVLink | NVLink 600GB/s | NVLink 400GB/s | | MIG | 不支持 | 最多 7 个实例 | 最多 7 个实例 | | 单卡功耗 | 450W | PCIe 300W / SXM 400W | 芯片组与整机配置相关 | 这张表里的算力都是峰值，不是跑某个模型的真实吞吐。芯片型号相同，只要换成不同功耗、不同 PCIe/SXM 形态，数字就可能变化。 尤其要注意 A100 40GB 和 80GB、4090 24GB 和改显存 48GB、H800 PCIe 和 SXM。很多云厂商的“A100”或“4090”并不是同一个完整规格。 ## FP32 高，不代表大模型训练更快 4090 的 FP32 是 82.6 TFLOPS，看起来比 A100 的 19.5 TFLOPS 高四倍多，也高于 H800 的 64 TFLOPS。 但大模型训练和推理主要使用矩阵运算，跑的是 FP16、BF16、TF32 或 FP8 Tensor Core，而不是传统 FP32 标量计算。 换成 Tensor 口径后，顺序就变了： - 4090 的 FP16 Tensor 约为 165.2 稠密 TFLOPS。 - A100 80GB 为 312 稠密 TFLOPS。 - H800 80GB 的 BF16 Tensor 公开口径约为 989 TFLOPS。 所以拿 4090 的 FP32 去对比 A100 的旧数据，或者拿不同稠密、稀疏口径混在一起，都会得出错误结论。 更实际的做法是看目标模型在同精度下的 Tokens/s、训练吞吐和显存占用。峰值 TFLOPS 只能说明“理论上限”，不能替代端到端 benchmark。 ## 显存：决定能不能跑 模型能不能装载，首先看显存。 7B 模型用 FP16 存储，权重约 14GB；13B 约 26GB；70B 约 140GB。量化到 FP8 可以近似减半，INT4 还能继续压缩，但 KV Cache、激活值、中间张量和框架开销都要额外占空间。 因此三张卡的边界很清楚： - 4090 24GB：适合 7B 到 14B FP16，或更大量化模型的单卡推理、LoRA 和小规模微调。 - 4090 48GB：扩大了长上下文和小批量微调的空间，但它不是 NVIDIA 标准零售规格，租赁前要确认显存来源、稳定性和售后。 - A100 80GB：适合 70B 量化推理、7B 到 30B 级任务微调，以及需要 MIG 或多卡并行的场景。 - H800 80GB：更适合高吞吐训练、较大批次推理和 8 卡集群，但单卡显存并没有比 A100 80GB 更大。 显存容量不等于显存带宽。A100 和 H800 都是 80GB，但 HBM3 带宽更高；4090 容量小，单位带宽却并不差。 ## 显存带宽：决定推理解码有多快 自回归推理每生成一个 Token，都要反复读取模型权重和 KV Cache。尤其是在 Decode 阶段，显存带宽往往比峰值算力更接近实际瓶颈。 | 卡型 | 显存带宽 | 相对位置 | |---|---:|---| | RTX 4090 | 1,008 GB/s | 单卡带宽较高，但总容量只有 24GB | | A100 80GB | 1.94 到 2.04 TB/s | 约为 4090 的两倍 | | H800 SXM | 约 3.35 TB/s | 约为 4090 的三倍多 | 带宽高不代表所有任务都会线性变快。小模型、短上下文、低并发场景可能更受启动延迟、CPU、I/O 和框架调度影响；长上下文、高并发和大模型 Decode 更吃带宽和 KV Cache。 知识库中有一个可参考的单点样本：双 RTX 4090 48GB 部署 Qwen3.8-27B FP8，单流约 31 Tokens/s，双卡总吞吐约 60 Tokens/s。这是特定模型、精度和推理配置下的结果，不能外推成 4090 对 A100/H800 的统一比例。 ## NVLink：多卡任务的分水岭 单卡看算力和显存，多卡首先看通信。 - 4090 没有 NVLink，多卡通信主要走 PCIe，适合独立任务并行，不适合紧耦合张量并行。 - A100 SXM 的 NVLink 带宽为 600GB/s。 - H800 的 NVLink 带宽为 400GB/s，低于 A100 SXM，但 H800 的 Tensor 算力和 HBM 带宽更高。 这意味着“H800 算力约为 A100 三倍”，不能直接推导成“8 卡 H800 训练就快三倍”。模型并行、专家并行和梯度同步会把通信放大；有时 H800 的每卡计算更快，A100 的更高 NVLink 带宽又会在特定拓扑下减少等待。 对 7B/13B 的 LoRA，单卡或双卡 PCIe 可能已经够用。对 70B 以上、跨节点训练，网络拓扑、RDMA、NVSwitch、存储吞吐和故障恢复会一起决定效率。 ## MIG 与资源利用率 A100 和 H800 支持 MIG，最多可以切成 7 个隔离实例。学校、实验室和企业平台可以用 MIG 把一张卡拆给多个小任务，提高利用率。 4090 不支持 MIG。它更适合一卡一任务，或者通过应用层队列调度。把多个推理服务塞进同一张 4090，可以做进程级隔离，但拿不到 MIG 那样的硬件分区保证。 这也是企业平台和纯租卡平台的差别：同样一张 A100/H800，支持 MIG、vGPU、配额和故障隔离后，实际可用性会高于“只在商品页写了一张卡”。 ## 三种任务怎么选 | 任务 | 优先卡型 | 关键原因 | |---|---|---| | 7B 到 14B 模型推理、LoRA、图片和视频生成 | RTX 4090 | 单卡成本低，生态成熟，短任务灵活 | | 27B 到 32B 量化推理、长上下文单机任务 | 4090 48GB 或 A100 80GB | 前者便宜，后者更标准、更稳定 | | 70B 量化推理、多卡微调、MIG 共享 | A100 80GB | 80GB 显存、NVLink 和 MIG 的平衡较好 | | 大规模训练、高吞吐推理、8 卡集群 | H800 80GB | Tensor 算力和 HBM3 带宽更高 | | 只做单精度科学计算 | 需要单独评估 | 4090 的 FP32 高，但没有 ECC 和 NVLink | 一个容易忽略的事实是：4090 的性价比优势主要出现在“单卡能装下”的任务里。一旦模型必须切到多卡，PCIe 通信、显存碎片和框架适配会迅速吃掉低价优势。 同样，H800 的优势主要出现在多卡、集群、高吞吐和 FP8 场景。用它跑一个单卡 7B 小模型，未必比 4090 更划算。 ## 租赁成本只做简单参考 机器性能之外，价格只需看几个公开锚点： 平台 公开价格或入口 交付形态 UCloud 9.9 元 GPU 新客体验；标准 A100/H800/4090 价格需控制台或销售确认 云主机、裸金属与活动资源 AutoDL 4090 1.88 元/时，H800 9.98 元/时，会员 95 折 按量、按日、按周、按月 腾讯云 TI-ONE 4090 资源价 16.51 元/时；A100 40G 资源价 31.5 元/时；H800 以 8 卡集群为主 平台资源加软件费 商汤大装置 A100/H800 为 8 卡裸金属，标准价需控制台查询 包年包月集群 这些数字不能脱离规格比较。A100 40GB 和 80GB 不是一个价格档，4090 24GB 和 48GB 也不是同一种供给，H800 单卡和 8 卡整机更不是同一采购单位。 价格只能回答“预算大概在哪”，机器规格和任务适配才回答“这笔钱能不能把任务做完”。 ## 最终判断 RTX 4090 的定位是“便宜的单卡生产力”：推理、LoRA、图像、视频和小模型实验非常有吸引力，但 24GB 显存、没有 NVLink、没有 MIG，让它不适合被当成小号 A100。 A100 80GB 是最均衡的通用数据中心卡：显存、带宽、Tensor 算力、NVLink 和 MIG 都在线，适合大量企业 AI 项目。 H800 是面向训练和高吞吐推理的 Hopper 卡：Tensor 算力和 HBM3 带宽更高，但 NVLink 规格、功耗、整机要求和采购门槛都要一起看。 选卡的正确顺序是：先判断模型需要多少显存，再看单卡能否装下，再看多卡通信，最后才比较每小时租赁价格。反过来从价格出发，很容易租到一张“单价便宜但任务跑不完”的卡。