训练基础设施的显存账本:从官方文档与公开论文核对四类开销
文章基于ZeRO论文拆解训练显存四类开销,指出16字节估算仅涵盖参数、梯度及优化器状态,激活值需另算。
训练基础设施的显存账本:从官方文档与公开论文核对四类开销
\n\n显存不够,先别怪框架。账要一项一项算。ZeRO论文把训练显存拆成四类:参数、梯度、优化器状态、激活值(arXiv:1910.02054)。这个分类不是学术装饰,是排障顺序表。谁占得多,谁就该被切分或被重算。
\n\n先说结论:混合精度Adam训练,参数、梯度、优化器状态三项常被社区按每参数16字节量级估算;激活值不在这16字节里,必须另算。这不对吗?对,但只对一半。把16字节当成全部显存预算,是训练OOM最常见的误判来源。ZeRO论文对混合精度训练显存的分项拆解(参数/梯度/优化器状态/激活值),精确分项以论文表格为准;社区常按每参数16字节量级估算,这个口径在Hugging Face文档与ZeRO论文之间被反复并引。
\n\n16字节怎么来的
\n\n拆开看。fp16参数2字节,fp16梯度2字节,Adam优化器状态12字节,合计16字节每参数(arXiv:1910.02054;Hugging Face Transformers文档常引此口径,具体页面标题与版本待核实)。12字节的构成是fp32的momentum 4字节加variance 4字节,再加fp32主权重4字节。该拆分口径仅一处记载,待第二处印证。但量级可信:优化器状态是参数本身的三倍重,这是Adam的固有代价,不是实现缺陷。
\n\n换算成直觉。十亿参数模型,光参数、梯度、优化器状态三项就是16GB量级。这还没算激活值。七B模型呢?自己乘。算完就知道单卡为什么装不下。
\n\n切分顺序:ZeRO-1/2/3
\n\nZeRO的切分对象是递进的。ZeRO-1切优化器状态,ZeRO-2再加切梯度,ZeRO-3再加切参数(arXiv:1910.02054)。顺序有讲究:优化器状态最肥,先切它收益最大;参数最后切,因为切参数会放大通信。别倒着来。
\n\n激活值不在切分名单里。ZeRO论文未将激活值纳入切分对象,激活值靠activation checkpointing等手段处理,该表述仅一处记载,待第二处印证。这条常被忽略:开了ZeRO-3仍OOM,多半是激活值或临时缓冲在作祟,不是切分没生效。
\n\n| 开销类别 | 典型精度 | 是否被ZeRO切分 | 主要应对手段 |
|---|---|---|---|
| 参数 | fp16 | ZeRO-3 | 切分+通信权衡 |
| 梯度 | fp16 | ZeRO-2起 | 切分 |
| 优化器状态 | fp32 | ZeRO-1起 | 优先切分 |
| 激活值 | 随算子 | 否 | checkpointing |
AMP不是省显存的万能键
\n\nPyTorch AMP文档要点:autocast上下文自动为算子选择fp16/bf16或fp32精度(PyTorch官方文档AMP部分,版本待核实)。它省的是计算和部分存储,不改变优化器状态的fp32账本。GradScaler用于fp16梯度缩放防下溢,bf16通常无需scaler(同上)。推荐配合autocast与GradScaler使用,部分算子需保持fp32(同上)。
\n\n换句话说,开了AMP,16字节账本里优化器那12字节照旧。指望AMP把显存砍半,方向错了。它管的是数值稳定和吞吐,不是优化器状态瘦身。
\n\n可执行判断规则
\n\n排障按这个顺序走。第一步,按每参数16字节量级估参数、梯度、优化器状态三项,与卡容量对账,差额就是激活值与缓冲的预算空间。第二步,差额为负,先上ZeRO-1切优化器状态,再考虑ZeRO-2。第三步,仍不够,查激活值:上checkpointing,别急着开ZeRO-3,切参数的通信代价要先算清。第四步,确认AMP配置正确,但别把它记进省显存的账。第五步,任何分项数值以论文表格和所用版本文档为准,版本不明的口径只当量级参考。
\n\n账本清楚,扩容才有依据。拍脑袋加卡,是最贵的省事。