2026 年智算中心选卡，H100、H200、B300、MI455X 与昇腾 910C 看哪 7 个指标？

先看结论

在 H100、H200、B300、MI455X 与昇腾 910C 之间，按七个指标打分，不要只看峰值 TFLOPS。H100 仍是中等规模训练的成熟 CUDA 选项。H200 用更大 HBM 承接长上下文推理。B300 属于 NVLink 5 前沿等级，TDP 约 1.4 kW，必须液冷。MI455X 是带 ROCm 风险溢价的多元化试点。昇腾 910C 是国产 CANN 路径，不是 H100 的即插替代。单位成本数字均为行业估算 / 待确认。

这张七指标图是什么

这张七指标图是指 2026 年智算集群 GPU 采购的短名单框架。它覆盖五张具名卡：NVIDIA H100、NVIDIA H200、NVIDIA B300、AMD Instinct MI455X、华为昇腾 910C。它是决策图，不是价目表。适合的买家能先写清主负载、显存包络、扩展域和软件栈，再谈 CapEx。不适合的买家只按一个 TFLOPS 标题排序，不带液冷预算就买 B300，把昇腾 910C 当成前沿训练的 H100 替代，或把 MI455X 纸面带宽当成已验证的万卡织物。

这张图也不是工作站 RTX PRO 版本指南。那个范围留在单独的 RTX PRO 6000 Blackwell 询价笔记。不要把 Blackwell Ultra 训练行和 RTX PRO 行写进同一条 SKU。国内交付要问的是机柜电力、液冷机房、以及 CANN 相对 CUDA 的人员编制。渠道净价不在本页。

• 适合：你能写出训练还是推理、模型规模、以及合规约束。
• 适合：你会把互连成熟度与纸面 GB/s 分开打分。
• 不适合：只按“最大 TFLOPS”排序。
• 不适合：把 H100 风冷与 B300 液冷混成一行，假装共用同一套上架配方。

五张卡、五个位置

每张卡占一个位置。把它们当成可互换料号，是第一类 BOM 错误。H100 是成熟的训练/推理“稳妥”选项，软件栈 CUDA，迁移成本接近零。H200 仍是 Hopper 代，但 HBM 更大，面向 70B 以上与长上下文推理，不是 H100 的 80 GB 等级。B300 是 Blackwell Ultra 的性能、显存与 NVLink 5 等级，面向前沿训练加大批量推理。提到 B200 只为避免和上一代 Blackwell 混名，本页不编造 B200 的 BOM。

卡	位置	不要当成
NVIDIA H100	成熟训练/推理；CUDA，零迁移	H200（更大 HBM）或 B300（下一代）
NVIDIA H200	Hopper 级、更大 HBM，70B+ / 长上下文	H100 80 GB 级
NVIDIA B300	Blackwell Ultra、NVLink 5、前沿训练与大批量推理	B200 上一步 — 不编造该 BOM
AMD Instinct MI455X	多元化；纸面 HBM 强；ROCm / UALink 有风险溢价	上一代 MI300X
华为昇腾 910C	国产 / 合规路径；CANN；互连低于 NVLink	910B 或其他昇腾型号 — 锁定 910C

MI455X 不是 MI300X。昇腾 910C 不是 910B。供应商表上出现相邻型号时，停下来重切询价。滔涵不会把系列名当成料号。

指标 1 — 训练还是推理

指标 1 问这单活是算力受限的训练，还是显存受限的解码。训练看持续 FLOPS 与集合通信效率。解码看权重和 KV cache 能不能装下，因为 Token 时延常常卡在读显存，而不是峰值张量核。预训练赢的卡，可能是 70B 推理集群的错误首选，反过来也一样。

算力等级数字，相对原厂规格待确认：H100 的 FP8 常被引在约 3958 TFLOPS 级，NCCL 成熟，大集群线性度叙事常高于 90%。B300 的 FP8 常被引在约 7000 TFLOPS 级，叙事上约为 H100 的 2.3 倍，万亿参数类训练时间常被说成约为 H100 的 40%–50%。昇腾 910C 的 FP16 常被引在约 800 TFLOPS 级，在同一叙事里约为 H100 FP8 的 40%。模型利用率叙事约 30%，对照 H100 约 55%，有效训练差距大约 4.5 倍。MI455X 的 FP8 纸面数字曾被讨论到约 20 PFLOPS 级；ROCm 在大集群上的稳定性仍待确认。

• 算力受限的预训练：把 FLOPS、集合通信效率和互连域放在一起打分。
• 显存受限的解码：先打 HBM 容量，再看 FLOPS。
• 混合集群：拆开询价。不要把两种活平均成一条 SKU。

指标 2 — HBM 容量与带宽

指标 2 问模型和 KV 能不能装下，以及带宽把解码时延地板压在哪里。显存等级，待确认：H100 为 80 GB，H200 为 141 GB，B300 为 288 GB，昇腾 910C 为 96 GB，MI455X 为 432 GB HBM4 级。带宽等级：H100 约 3.35 TB/s，B300 约 8 TB/s，MI455X 纸面带宽约 19.6 TB/s。这些都不是采购订单保证。

一个仍属示意的测算：70B FP16 权重大约 140 GB。batch 为 1 时，读权重的直觉大约是 3.35 TB/s 路径上 42 毫秒，对照 8 TB/s 路径上约 17 毫秒。Llama 3.1 405B 的 FP16 权重大约 810 GB，在 80 GB 的 H100 等级上大约要 11 路张量并行，在 288 GB 的 B300 等级上大约 4 路。路数更少意味着集合通信更少，但前提是互连和软件栈真能用上这块显存。H200 的 141 GB 卡在 H100 与 B300 之间，适合还不想跨代的长上下文推理。

不要因为幻灯片上 432 GB 最大就买 MI455X。纸面 HBM4 只有在指标 5（ROCm 算子覆盖）和指标 3（UALink 成熟度）过了你自己的测试之后，才算指标 2 的胜利。同样，910C 的 96 GB 能覆盖很多不需要 288 GB 的国内模型，所以指标 1 必须先写下来。

指标 3 — 扩展互连

指标 3 看的是域大小和成熟度，不是单独一个 GB/s 格子。H100 与 H200 的 NVLink 4 极其成熟，单卡约 900 GB/s 级，域常被讨论在 8–16 GPU。B300 / NVL72 级的 NVLink 5 是已投产叙事，单卡约 1.8 TB/s，约 72 GPU，机柜级约 130 TB/s。MI455X / Helios 的 UALink 是新发布：单卡约 3.6 TB/s，机柜数字近 260 TB/s 级，约 72 GPU，待确认。昇腾 910C 的 HCCS 约 400 GB/s 级，域约 8 GPU；若必须在国产路径上补织物差距，另看 CloudMatrix 384 光超节点叙事。

互连	单卡带宽等级	域大小等级	成熟度
NVLink 5（B300 / NVL72）	约 1.8 TB/s	约 72 GPU	已投产叙事
NVLink 4（H100 / H200）	约 900 GB/s	约 8–16 GPU	极其成熟
UALink（MI455X / Helios）	约 3.6 TB/s	约 72 GPU	新发布 — 待确认
HCCS（昇腾 910C）	约 400 GB/s	约 8 GPU	国内可获得；光超节点是另一套设计

如果任务需要 72 GPU 的扩展域，H100 的 NVLink 4 和 910C 的 HCCS 都不是第一答案，除非你加第二层织物并接受软件成本。如果任务装得进 8 GPU，为 NVL72 的液冷密度付钱可能是浪费。先在询价上写域大小，再写卡名。

指标 4 — 集群可用性

指标 4 是中断率、RAS、液冷运维和检查点 I/O。公开的 Meta Llama 3 405B 运维故事用了 16384 GPU 的 H100 级，跑了约 54 天，记录 466 次作业中断，其中 419 次为非预期。把它当成公开案例背景，不要写成你的服务等级，也不要写成滔涵的可用性承诺。

B300 与 MI455X 的叙事强调 RAS 引擎。H100 与 H200 更多靠大型 CUDA 团队已经会用的软件容错。昇腾 910C 有国产 RAS 说法，但公开的大规模证据不如那次 16384 GPU 的故事充分。B300 的 TDP 约 1.4 kW，因此必须液冷：默认冷板，浸没式可选且机房 CapEx 更高。机柜电力从大约 50 kW 的风冷时代，走向 NVL72 级约 120–150 kW——相对你的机房设计待确认，不是报价。

大集群上 15–30 分钟一次检查点很常见。HBM 越大，检查点文件越大，存储带宽会变成隐藏瓶颈，哪怕 GPU 看起来很快。存储路径要和卡写在同一张询价里。一块 288 GB 的卡如果不能在窗口内完成检查点，并不比一块有成熟落盘路径的 80 GB 卡“更可用”。

• 下 B300 数量之前，先问液冷机房是否就绪。
• 问检查点大小和存储 GB/s，不要只问 GPU 数量。
• 不要把公开的 54 天故事抄进你的 SLA。

指标 5 — 软件迁移（CUDA、CANN、ROCm）

指标 5 是算子覆盖、调试器成熟度，以及你的团队里谁能修自定义核。行业讨论中的库规模，待确认：CUDA 为 10000 以上算子；CANN 约 2000（约为该规模的 20%）；ROCm 约 5000（约为 50%）。PyTorch 在 CUDA 上是原生第一梯队，在 CANN 上是适配器或非原生路径，在 ROCm 上官方支持但仍在完善。前沿自定义算子在 CUDA 上最容易，在 CANN 上有自己写算子的真实风险，ROCm 居中。

	CUDA	CANN	ROCm
算子库规模	10000+	约 2000（约 20%）	约 5000（约 50%）
PyTorch	原生第一梯队	适配器 / 非原生路径	官方支持，仍在完善
前沿自定义算子	覆盖最好	存在自己写算子的风险	居中
典型首选卡	H100、H200、B300	昇腾 910C	MI455X

决策树，不是口号：标准 GPT、LLaMA 或 Qwen 可以落在三条栈上，只要你接受适配工作。前沿自定义核仍指向 CUDA。仅合规的国产栈指向 CANN 与 910C。供应商多元化只有在你已经有内部 AMD 技能时才指向 ROCm。“以后再招 ROCm 的人”的试点，是不适合的 MI455X 采购。

指标 6 与 7 — 单位 Token 成本与每瓦 Token

指标 6 是推理单位经济。一类行业叙事把 B200 级样例说成约每百万 Token 0.01 美元，对照 H100 在大型 MoE 上约 0.08–0.11 美元。不要把它写成滔涵报价。这是行业估算 / 待确认。同一叙事里 B300 的单位经济方向更好，因为更大 HBM 减少张量并行路数，更高带宽缩短解码时间。公开讨论里 1024 GPU、3 年训练的总拥有成本是硬件与电力的亿级人民币量级；这里只保留方向：更高 HBM 的行会把花费从纯卡数转向电力与冷却。走廊永远不是订单价格。

指标 7 是每瓦 Token，不是单独的 TDP。TDP 等级：H100 约 0.7 kW，B200 级一步约 1.0 kW，B300 约 1.4 kW。新建智算机房常把 PUE 目标放在 1.25 或以下，一线城市叙事甚至 1.15 或以下——地方法规待确认。昇腾 910C 的 TDP 约 0.6 kW 级，每瓦 Token 叙事大约是 H100 的 65%–70%，相对 B300 液冷有风冷 CapEx 优势。机房上不了液冷时，910C 或 H100/H200 可以打败一张永远上不了架的“更快”B300。

• 硬件、电力、冷却、迁移放在同一张带日期的询价上打分。
• 每一个公开的“每百万 Token 多少美分”都标成待确认。
• 机房冷不下来的卡，即使指标 6 在幻灯片上更好，也要否决。

场景矩阵与操作步骤

五个场景覆盖短名单。选一个主场景，备选卡单独一行询价。

场景	首选	说明
A 前沿预训练（1T+）	B300（NVL72 / DGX 级）	备选：只有 ROCm 已被证明时才看 MI455X Helios
B 推理 70B–405B	H200 或 B300	70B 及以下且预算紧，H100 仍可能合适
C 国产 / 合规	昇腾 910C	织物不够时配对 CloudMatrix 级
D 供应商多元化	MI455X 试点	放量叙事为 2026 年末 / 2027 — 待确认
E 预算内中等训练 7B–70B	H100	供应叙事成熟，且 CUDA 零迁移

如何冻结短名单——按下面的操作步骤写进询价，不要留在聊天里：

1. 第一步。 锁定主负载：训练还是推理，加上模型规模、上下文、稠密还是 MoE。
2. 第二步。 按目标 batch 测算 HBM 与带宽，装下权重加 KV。数出张量并行与流水并行节点。
3. 第三步。 锁定扩展域（NVLink、UALink、HCCS 或光超节点）和软件栈（CUDA、CANN 或 ROCm）。
4. 第四步。 评估可用性：液冷运维、RAS、检查点存储带宽、中断预算。
5. 第五步。 只在带日期的询价行上谈硬件、电力、冷却与迁移。公开软走廊保持行业估算 / 待确认。
6. 第六步。 选定场景 A–E。备选卡单独一行，不要混成同一条 SKU。

常见问题

参考

• NVIDIA H100 — 产品页（以现页规格为准）
• NVIDIA H200 — 产品页
• NVIDIA GB200 NVL72 — 机柜级 NVLink 背景；本页 B300 等级数字仍待确认
• AMD Instinct 加速卡
• 华为昇腾加速卡
• NVIDIA NCCL
• AMD ROCm 文档

收尾

在 H100、H200、B300、MI455X 与昇腾 910C 里点名前，先用七个指标冻结智算短名单。训练还是推理排第一；HBM 以及 NVLink、UALink 或 HCCS 排第二；CUDA、CANN 或 ROCm 决定纸面优势能不能用；液冷和每瓦 Token 决定机房能不能跑。上海滔涵实业有限公司（TAOHAN）协助国内买家把这份清单锁进带日期的询价。本页每一个软美元或 TFLOPS 格子都是行业估算 / 待确认，不是报价。

相关阅读