KV cache 显存换算手册:从 MHA、GQA 到 MLA,每 token 到底占多少字节
文章推导每 token KV cache 字节公式,代入 Llama-3.1-70B、Qwen2.5-32B、DeepSeek-V3 复算,并给出并发长上下文容量规划与 Paged。
说明
KV cache(键值缓存,自回归生成时缓存历史 token 的注意力键值对以避免重算)是长上下文推理的第一笔显存开销。本文重点覆盖四块内容:每 token KV 字节的公式推导、三组公开超参的代入计算、并发与长上下文的容量规划、分页式缓存管理的碎片开销。所有数字都可按文中公式复算。
来源对照(每条一个事实,入口均为官方一手材料):
- 条目一:Llama(美国大厂开源模型系列,具体型号 Llama-3.1-70B-Instruct(指令微调版))超参,层数 80、KV 头 8、每头维度 128、上下文 131072。入口:模型托管社区官方配置文件页,https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct/blob/main/config.json 。
- 条目二:Qwen2.5-32B(阿里开源模型系列)超参,层数 64、KV 头 8、每头维度 128、上下文上限 32768。入口:https://huggingface.co/Qwen/Qwen2.5-32B-Instruct/blob/main/config.json 。
- 条目三:MLA(多头潜在注意力)每 token 元素公式与「KV cache 减少 93.3%、吞吐 5.76 倍」,出自 DeepSeek-V2 论文摘要与 Table 1(对比表)。入口:https://arxiv.org/abs/2405.04434 。
- 条目四:DeepSeek-V3 层数 61、沿用 MLA 架构声明,出自官方技术报告。入口:https://arxiv.org/abs/2412.19437 。
- 条目五:PagedAttention(LLM(大语言模型)服务框架 vLLM 的分页式注意力算法,把缓存切成固定块管理)「碎片与冗余造成大量浪费」「near-zero waste(接近零浪费)」「吞吐 2-4 倍」,出自 vLLM 论文摘要。入口:https://arxiv.org/abs/2309.06180 。
- 条目六:vLLM 块大小默认 16 token,出自源码 arg_utils.py(v0.6.3.post1 标签页)。入口:https://github.com/vllm-project/vllm/blob/v0.6.3.post1/vllm/engine/arg_utils.py 。
一、先立公式:每 token KV 字节数怎么算
一个 token 在每一层需要缓存两组向量(K 与 V),每组宽度为「KV 头数 × 每头维度」。以字节计:
每 token 字节 = 2(K/V 两组)× KV 头数 × 每头维度 × 层数 × 精度字节数
DeepSeek(深度求索)V2 论文(预印本编号 2405.04434,其中 Table 1 即对照表)给出的按元素计数版本与之一致:MHA 为 2·n_h·d_h·l,GQA 为 2·n_g·d_h·l,MQA 为 2·d_h·l,MLA 为 (d_c + d_h^R)·l。式中 n_h 是注意力头数、n_g 是 GQA 分组数、d_h 是每头维度、l 是层数;本文换算时按 FP16(半精度,每元素 2 字节)代入。
三种经典机制的差异只在 KV 头数:
- MHA(多头注意力,出自谷歌系论文《Attention Is All You Need》,预印本编号 1706.03762):KV 头数等于查询头数;
- MQA(多查询注意力,出自论文《Lessons of Learning Massively Multi-Head Attention》一类工作,预印本编号 1911.02150):所有查询头共享 1 组 K/V;
- GQA(分组查询注意力,出自谷歌系论文(标题含 GQA 缩写),预印本编号 2305.13245):查询头分组,每组共享 1 组 K/V。
MLA(多头潜在注意力)换了思路:把 K/V 压缩成一个潜在向量再缓存。DeepSeek-V2 论文 Table 1 标注其每 token 元素数为 (d_c + d_h^R)·l,并给出近似关系「约为 MHA 的 9/2 ÷ n_h 量级」的压缩表述;同篇摘要还给了端到端效果:相对 DeepSeek 67B,DeepSeek-V2 把 KV cache 减少 93.3%,最大生成吞吐提升到 5.76 倍。
二、代入公开超参:每 token 字节对照
三组模型的超参全部取自官方配置文件或官方报告:
- Llama-3.1-70B(官方配置文件):层数 80,注意力头 64,KV 头 8(GQA),每头维度 128,上下文 131072;
- Qwen2.5-32B(Qwen 官方 config.json):层数 64,注意力头 40,KV 头 8(GQA),hidden_size 5120、每头维度 128,上下文 32768;
- DeepSeek V3(官方技术报告,预印本编号 2412.19437):层数 61,采用 MLA;潜在压缩维度 d_c=512、解耦注意力分支的附加维度(论文记作 d_h^R)为 64 沿用 DeepSeek V2 论文的设定。
按第一节公式(FP16,每元素 2 字节)逐项复算:
- 条目一:Llama-3.1-70B。KV 头 8 × 每头 128 × K/V 两组 = 每层每 token 2048 个元素,乘 2 字节、乘 80 层,得每 token 327680 字节,约 320 KB。
- 条目二:Qwen2.5-32B。同样 GQA 结构,8 × 128 × 2 × 2 × 64 层 = 每 token 262144 字节,恰好 256 KB。
- 条目三:DeepSeek-V3(MLA)。(512 + 64) 元素/层 × 2 字节 × 61 层 = 每 token 70272 字节,约 68.6 KB。
单看每 token:V3 的 KV cache 只有 Llama-3.1-70B 的四分之一左右(70272 ÷ 327680 ≈ 0.2146,即少 78.6%)。注意这个 78.6% 是「V3 MLA 对比 Llama GQA」的跨机制比值;DeepSeek-V2 摘要里的 93.3% 是「V2 MLA 对比自家上一代 MHA」的同族对比,两个口径不能混用。别混着引。
三、拉到并发与长上下文:容量规划表
把每 token 字节乘上下文长度、再乘并发数(同批次同时驻留的序列条数),就是 KV cache 峰值预算。取三种等总量场景验证规律:8K×64 路、32K×16 路、128K×4 路的 token 总量都是约 52.4 万:
- Llama-3.1-70B:327680 × 524288 ≈ 171.8 GB,三种场景一致。单张 80 GB 显存卡装不下,这就是 70B 级模型开长上下文必须多卡或量化 KV 的直接原因。
- DeepSeek-V3:70272 × 524288 ≈ 36.8 GB,同样三场景一致。双卡权重之外的余量即可容纳,并发策略自由度大得多,差距直观。
- Qwen2.5-32B:单序列吃满官方上限 32K 上下文时,262144 × 32768 ≈ 8.6 GB;若按 Llama 那组 52.4 万 token 总量折算则约 137.4 GB。
从公式可以直接读出两条规划规律:其一,KV 显存与「上下文长度 × 并发数」成正比,与模型权重无关,所以同一张卡上长上下文和并发数是互相挤占的关系;其二,GQA 相对 MHA 的节省倍数等于头数比(Llama-3.1-70B 若退回 MHA,每 token 会从 320 KB 涨到 64 头 × 128 × 2 × 2 × 80 = 2621440 字节,即 2.5 MB,膨胀 8 倍)。
四、碎片去哪了:PagedAttention 的账
公式算的是「净需求」,工程上还要付碎片的税。PagedAttention 论文(预印本编号 2309.06180)摘要指出:现有系统的 KV cache 内存「被碎片化和冗余复制大量浪费」,从而限制批大小;其方案把 KV cache 切成固定大小的块管理,实现「near-zero waste(接近零浪费)」,并把主流模型吞吐提升 2-4 倍。论文实验口径下,传统连续分配方式的浪费比例在 60%-80% 区间(同一篇论文正文的测量条件:按序列最大长度预分配)。
vLLM 的块粒度默认值是 block_size=16 token(vLLM v0.6.3.post1 源码 arg_utils.py 中 `block_size: int = 16`;新版本改为空值自动选择,仍以小整数块为基准)。按每 token 320 KB 算,一条序列的尾部碎片平均约半块,即 8 token × 327680 ≈ 2.6 GB。对短序列场景这笔「四舍五入税」占比不可忽略,这也是官方文档建议短上下文调小 block_size 的原因。
五、选型时怎么用这张表
- 先定并发与上下文矩阵(例如 32K×16),算出 token 总量;
- 用第二节公式算目标模型的每 token 字节,两者相除得到 KV 预算下限;
- 给碎片和管理开销留 vLLM 论文口径下不足 4% 的余量,但若是自研连续分配引擎,按 60%-80% 浪费做悲观预算;
- 跨机制比较时只引用同口径数字:MLA vs MHA(93.3%,官方摘要)与 MLA vs GQA(本文复算 78.6%)是两个问题,答案不同。
引用
- Llama-3.1-70B config.json:https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct/blob/main/config.json
- Qwen2.5-32B config.json:https://huggingface.co/Qwen/Qwen2.5-32B-Instruct/blob/main/config.json
- DeepSeek-V2 论文(MLA 公式与 93.3%):https://arxiv.org/abs/2405.04434
- DeepSeek-V3 技术报告(层数、MLA 沿用声明):https://arxiv.org/abs/2412.19437
- PagedAttention/vLLM 论文(碎片浪费与 near-zero waste):https://arxiv.org/abs/2309.06180
- vLLM v0.6.3.post1 源码(block_size=16):https://github.com/vllm-project/vllm/blob/v0.6.3.post1/vllm/engine/arg_utils.py
- MHA/MQA/GQA 原始论文:arXiv(论文预印本平台)编号:1706.03762、1911.02150、2305.13245