首页 /文章 /显存墙怎么算:训练集群HBM、互联与存储分层的公开实践综述

显存墙怎么算:训练集群HBM、互联与存储分层的公开实践综述

对照 NVIDIA H100/H200/B200、AMD MI300X 官方规格页,NCCL、GPUDirect Storage 文档与 Meta/Gemini 训练报告,把显存、互联、存储三层公开数字的口径差异摆清:规格峰值不等于有效值,域内聚合不等于端口速率,并逐条列出公开证据缺口。

训练基础设施HBM 显存NVLink InfiniBandGPUDirect Storagecheckpoint 存储2026Q4
分类:工程与基础设施 › 训练基础设施 发布于 2026-10-26 58 次浏览

显存墙怎么算:训练集群HBM、互联与存储分层的公开实践综述

\n

四张规格表先摆平

\n

显存墙这个词,出现的频率高于它被定义清楚的频率。先看数字。NVIDIA H100 SXM 提供 80GB HBM3(高带宽显存)显存,显存带宽 3.35 TB/s(NVIDIA H100 产品规格表)。规格表同时注明,这是峰值,非实测。NVIDIA H200 SXM 把容量拉到 141GB HBM3e,带宽 4.8 TB/s(NVIDIA H200 产品页)。NVIDIA B200 的公开数字是 180GB HBM3e 与 8 TB/s(NVIDIA DGX B200 页面)。AMD Instinct MI300X 给出 192GB HBM3 与 5.3 TB/s(AMD MI300X 产品规格页),容量在这一组里最大,写法同样是规格峰值。选型会上争的往往就是这几行数字,可真正的工程判断发生在数字之外。

\n

把四张表并排看,增长节奏并不一致。支撑在哪?而任何试图把两者相除、得到“每字节可用带宽”的做法,在公开来源里都找不到对应的实测支撑。这是本文反复要回到的起点:规格表能回答上限,回答不了有效值。

\n

域内与域外:互联数字的分界线

\n

域要分清。NVIDIA H100 的 NVLink 4(GPU 间高速互联总线)提供每 GPU 900 GB/s 双向聚合带宽(NVIDIA H100 产品规格表)。H200 的 NVLink 同样是每 GPU 900 GB/s 双向聚合(NVIDIA H200 产品页)。B200 换到 NVLink 5,每 GPU 1.8 TB/s 双向聚合(NVIDIA DGX B200 页面)。“双向聚合”是厂商口径,把两个方向加在一起,与单向有效吞吐不能直接互换。

\n

系统层还有一层口径要核。NVIDIA DGX B200 页面列出 8 个 B200 GPU 与每系统 8 TB/s 的 NVLink 域内聚合带宽,并提示 8×1.8 TB/s 这一乘法的具体口径以官方为准(NVIDIA DGX B200 页面)。层级不同。单卡规格与系统级聚合不是同一个层级,混用会直接算错容量规划。再往上看,NVIDIA GB200 NVL72 把 72 个 GPU 与 36 个 Grace CPU 通过 NVLink 域连接,NVLink 域内总带宽 130 TB/s(NVIDIA GB200 NVL72 产品页),这是域级数字,不是单卡数字。拿 130 TB/s 去除以 72 张卡得到的均摊值,官方文档里并没有对应的实测承诺,只能当算术练习。

\n

域外的路径同样明确。NVIDIA H100 支持 PCIe(高速串行外设互联总线)Gen5,每 GPU 双向带宽 64 GB/s(NVIDIA H100 产品规格表)。差一个量级。NVIDIA Quantum-2 InfiniBand(高性能计算互联网络)交换机提供每端口 400 Gb/s 带宽(NDR)(NVIDIA Quantum-2 产品页)。NVIDIA Spectrum-X 以太网平台面向 AI 集群,支持 400G 与 800G 端口速率(NVIDIA Spectrum-X 产品页)。端口速率是链路规格,端到端有效带宽取决于拓扑与协议,公开材料把这两件事分开写。

\n

切开模型之后,账目换了科目

\n

显存墙常被当成单一容量问题,这个简化会误事。先问三件事。容量回答模型和优化器状态能不能放下;带宽回答每一步读写要多久;互联回答模型被切开之后,通信要付多少代价。这三组数字对应三种口径:HBM 是单卡规格,NVLink 是域内聚合,InfiniBand 与以太网是端口速率。口径不同,既不能相加,也不能直接比大小。

\n

NCCL(NVIDIA 集合通信库)文档把边界讲得很直白:NVLink 域内的 GPU 可以通过 NVLink 直接互访,跨域通信需经 InfiniBand 或以太网(NVIDIA NCCL 开发者文档)。分层模型。同一份文档给出多节点训练中 NVLink 域内与跨节点 IB 的分层通信拓扑模型(NVIDIA NCCL 文档),并说明 NCCL 支持 NVLink、InfiniBand 与 RoCE(基于融合以太网的远程直接内存访问)等多种传输层(NVIDIA NCCL 文档)。RoCE 本身依赖 RDMA(远程直接内存访问)在以太网上提供能力(NVIDIA OFED 文档)。

\n

这条边界对并行策略有直接后果。张量并行的通信被压在 NVLink 域内,流水并行的激活在相邻设备间传递,数据并行的梯度同步则被推到跨节点链路上;一旦跨过域边界,通信科目就从 HBM 与 NVLink 换成了 IB 或以太网端口。代价不小。公开来源缺少实测,因此“某并行策略在真实负载下的通信占比”目前只能停在模型层,无法用公开数字校验;能做的是把并行切法尽量留在高带宽那一侧,把跨域流量当预算外的开销管理。

\n

公开集群规模是怎么被描述的

\n

规模给得明确。Meta 公开的 Llama 3 训练实践写明使用 24,576 个 H100 GPU 的集群,并描述了并行训练与 checkpoint(训练检查点)相关工程实践(Meta Llama 3 博客)。同一来源未给出 checkpoint 吞吐数字。Meta 的 Llama 3.1 技术报告描述使用 16K H100 GPU 进行训练,并讨论训练基础设施(Meta Llama 3 论文)。Google 的 Gemini 技术报告描述使用 TPU(张量处理单元)v4/v5e 大规模集群训练,并讨论多数据中心训练基础设施(Gemini 技术报告),集群与存储细节有限,同样没有 checkpoint 吞吐数字。

\n

这些材料的共同点是规模与并行策略写得比吞吐清楚。口径对不上。Meta 两处集群规模本身也不一致:博客写 24,576 张 H100,技术报告写 16K 级别,两个口径都公开存在,引用时必须选明来源与对应的训练阶段,混用会把规模错一个量级。Microsoft 公开的 Megatron-Turing NLG 530B 训练实践描述了使用 InfiniBand 互联的大规模 GPU 集群(Megatron-Turing NLG 论文),时间在 2022 年,早于 2024,只能作为拓扑背景引用,不满足近年时间口径。读这类材料时,规模数字可以用来看拓扑量级,不能反推通信效率。

\n

存储分层:文档能证明什么

\n

路径存在。NVIDIA 官方文档说明 GPUDirect Storage(GPU 直接存储访问)可让 GPU 直接访问本地 NVMe(非易失性内存主机控制器接口规范),绕过 CPU 内存拷贝(NVIDIA GPUDirect Storage 文档)。同一份文档给出支持本地 NVMe 与并行文件系统的访问路径说明(NVIDIA GPUDirect Storage 文档),但未给出统一的 checkpoint 吞吐数字。NVIDIA Magnum IO 页面则描述 GPUDirect Storage、NCCL 等 IO 组件在训练集群中的分层作用(NVIDIA Magnum IO 页面)。

\n

据此能得到的结论有限:访问路径是存在的,组件分工是存在的,分层策略的工程数字是缺失的。缺数字。本地 NVMe、并行文件系统、对象存储三层各自该承载什么,公开材料只给功能说明,不给可对比的吞吐;把功能说明当性能证据,是这一层最容易犯的错。checkpoint 写入频率、单次写入量、保留份数这三项预算在公开报告里也几乎不披露,存储容量规划只能靠自家实测补上。

\n

证据缺口逐条列明

\n

公开检索的空白需要如实交代。H100、H200、B200、MI300X 在真实训练负载下的 HBM 有效带宽,公开来源缺少实测,只有规格峰值可查,把峰值当有效值写进方案是常见事故源。NVLink 域内实际 all-reduce(全归约)吞吐,缺第三方实测。跨节点同理。InfiniBand NDR 的实际有效带宽,同样缺实测。RoCE 在 AI 训练集群中的吞吐与拥塞控制表现,也没有可并列的独立实测。

\n

存储侧的空白同样具体。本地 NVMe 的 checkpoint 写入吞吐,公开来源缺少多家独立并列的统一数字;并行文件系统(Lustre、GPFS、WEKA 一类)在训练 checkpoint 场景的吞吐,以及对象存储写入吞吐,也缺同口径并列来源。推断不等于证据。分层策略的工程数字同样缺席,三层分工只能从功能描述去推,推出来的结果不具备可复核性,写进采购单时这种推断没有第二人可以复核。

\n

硬件口径还有两处需要标注。MI300X 集群互联(Infinity Fabric)的公开带宽数字,未在本文检索范围内找到可直接引用的官方规格页;GB200 NVL72 的域内实际训练吞吐缺少独立实测。空白是空白。这些空白源于公开材料本身的边界,改换检索词并不能补上。

\n

把口径写进核对表

\n

工程上可复用的做法是把口径写死。看到 HBM 数字先问峰值还是实测;看到互联数字先问是单卡、域内聚合还是单端口;看到集群规模先问是否披露并行策略与 checkpoint 路径;看到存储数字先问是本地 NVMe、并行文件系统还是对象存储。先问口径。这四条不需要新增数字,只需要来源与层级对齐。

\n

剩下的交给验证。规格表可以做容量规划的上界,不能用来推断训练吞吐;官方文档可以说明路径存在,不能说明路径快慢;规模数字可以判断拓扑量级,不能推断通信占比。公开来源缺少实测这句话,在这些判断里必须保留,因为它决定了哪些结论能进评审表,哪些只能停在待验证栏。

\n

核对表可以很短,数字就那一份。账要分开记。把每一行数字标上口径与层级,显存墙就从一句口号变成了三本可核对的账;能不能算得平,取决于自家集群上那一轮实测什么时候补进去。

\n

来源清单(均于发布前实测可访问)

\n
    \n
  • NVIDIA H100 产品规格表(Tensor Core 数据 sheet) https://resources.nvidia.com/en-us-tensor-core/nvidia-tensor-core-gpu-datasheet
  • \n
  • NVIDIA H200 产品页 https://www.nvidia.com/en-us/data-center/h200/
  • \n
  • NVIDIA DGX B200 页面 https://www.nvidia.com/en-us/data-center/dgx-b200/
  • \n
  • NVIDIA GB200 NVL72 产品页 https://www.nvidia.com/en-us/data-center/gb200-nvl72/
  • \n
  • AMD Instinct MI300X 产品规格页 https://www.amd.com/en/products/accelerators/instinct/mi300/mi300x.html
  • \n
  • NVIDIA NCCL (NVIDIA Collective Communications Library) Documentation https://docs.nvidia.com/deeplearning/nccl/user-guide/docs/index.html
  • \n
  • NVIDIA GPUDirect Storage 文档 https://docs.nvidia.com/gpudirect-storage/overview-guide/index.html
  • \n
  • NVIDIA Quantum-2 InfiniBand 交换机页 https://www.nvidia.com/en-us/networking/infiniband-switching/
  • \n
  • NVIDIA Spectrum-X 产品页 https://www.nvidia.com/en-us/networking/spectrumx/
  • \n
  • Meta Llama 3 博客 https://ai.meta.com/blog/meta-llama-3/
  • \n
  • Meta Llama 3 技术报告 https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
  • \n
  • Gemini 技术报告 https://arxiv.org/abs/2312.11805
  • \n
  • Megatron-Turing NLG 论文 https://arxiv.org/abs/2201.11990
  • \n
关键词 训练基础设施HBM 显存NVLink InfiniBandGPUDirect Storagecheckpoint 存储2026Q4 000140