首页 /文章 /千卡集群的钱花在哪:公开技术报告里的显存、互联与容错账

千卡集群的钱花在哪:公开技术报告里的显存、互联与容错账

本文基于Llama3等公开技术报告,解析千卡集群成本构成。

Llama 3 405B大模型训练MFU集群容错显存互联2026Q4
分类:工程与基础设施 发布于 2026-10-25 34 次浏览

来源对照(抓取日期 2026 年 10 月 25 日,全部为公开技术报告)。条目一:Llama(Meta(脸书母公司)开源大模型系列)3 405B 训练报告,arXiv(论文预印本平台)编号 2407.21783。条目二:Megatron-LM(英伟达并行训练框架)训练论文,2104.04473。条目三:PaLM(谷歌大模型)论文,2204.02311。条目四:OPT(Meta 开放预训练模型)报告,2205.01068。条目五:BLOOM(开源多语言大模型)报告,2211.05100。条目六:GPT-4 技术报告,2303.08774。各报告的 MFU(模型算力利用率,实际算力与理论峰值之比)定义口径存在差异,下文分列标注,不做合并。

\n

集群清单:先把卡数与芯片摆在桌上

\n

Llama 3 405B 的报告写得最细。卡数最多。:16,384 张 H100(英伟达当前主力训练卡)跑 54 天,报告自述 BF16(半精度浮点格式)口径的 MFU 在 38% 到 43% 之间。对比早几年:Megatron-LM 论文在 3,072 张 A100 上做到 52%;PaLM 540B 用 6,144 块 TPU(谷歌自研训练芯片)v4,报告 MFU 为 46.2%。GPT-3 报告只给了总算力约 3.14×10^23 次浮点运算,没有公开利用率。

\n

卡数翻了五倍,利用率反而低于三年前的三千卡集群。这不是退步,是并行结构变了:Llama 3 用了四层并行(张量并行 8 路、流水并行 16 段、上下文并行 2 分、数据并行 128 组),跨两个 8,192 卡集群调度。层数越多,同步开销越大。

\n

容错账:故障不是意外,是日常

\n

Llama 3 报告披露的故障统计是目前最完整的公开样本:54 天里训练中断 419 次,其中 GPU(图形处理器)硬件故障占 58.7%。按这个频率折算,万卡集群平均每几个小时就断一次。

\n

办法其实一致。定期保存检查点(训练进度快照),出事回滚重算。BLOOM 报告写明每 3 小时存一次检查点;OPT 报告的日志显示每次恢复平均损失几十分钟算力。检查点存得越密,恢复损失越小,但写入本身占用存储带宽,这笔账各报告给的数字不同。

\n

三块成本怎么分

\n

把公开报告放在一起可以推出一个粗框架。算力块:卡数×时长×单卡小时价,云实例定价随地区与时间浮动,引用需注明抓取时点。互联块:四层并行的同步开销直接压在 MFU 上,52%(两层并行)与 38%~43%(四层并行)的差值可视为扩展代价的下界估计。容错块:419 次中断乘每次恢复损失,Llama 3 报告未给总账,只能按 OPT 的单次损失量级推算区间。

\n

GPT-4 报告在故障率上是空白:只提到用预测性监控减少中断,没给数字。PaLM 报告则披露了监控侧开销:高频指标采集本身占训练日志的一部分。基础设施投入里"看得见的是卡,看不见的是让卡不断跑的那套系统",这是多份报告的共同暗示。

\n

哪些数字能复核,哪些只能存疑

\n

能复核的:卡数、芯片型号、并行配置、MFU 标称值,全部在报告原文可查。只能存疑的:跨报告比较 MFU 绝对值(各家定义的分母不同)、未公开的检查点频率与恢复总损失。引用千卡集群成本时,把"报告自述"与"外部推算"分开写,是这份对照能给出的最实用建议。

\n

条件声明

\n

本文全部数字出自文首所列公开报告,抓取日期见对照区;不同报告的精度格式、并行配置与 MFU 定义不一致,跨行对比仅作量级参考,不构成排名。云价格随地区与时间变化,未列入具体数值。

关键词 Llama 3 405B大模型训练MFU集群容错显存互联2026Q4 000128