本地部署显存计算:通用公式与 27B 实操
LLM 显存三部分构成(权重 / KV Cache / 系统开销)+ 通用计算公式(FP16/INT8/INT4/AWQ/GGUF 对照表)+ KV Cache 长上下文爆炸风险 + 27B INT4 在 24GB 卡上的完整估算工作流 + MoE 模型显存陷阱(按总参数量算)+ 实操步骤。
本地部署显存计算:通用公式与 27B 实操
\n显存可按三段估算:模型权重、KV Cache、系统开销。算清这三段,24 GB 卡跑 27B 该选 INT4 还是 FP16,就有答案。CUDA out of memory(显存不足)多半是显存算少了。
\n一、显存构成
\n| 组成 | 占比(27B/INT8 典型) | 与什么成正比 | 能否缩减 |
|---|---|---|---|
| 模型权重 | 约 75% | 参数量 × 每参数字节数 | 换量化 / 换小模型 |
| KV Cache | 约 15%(长上下文更高) | 上下文长度 × 层数 × head_dim(注意力头维度) | 缩短上下文 / PagedAttention(分页注意力)优化碎片 |
| 系统开销 | 固定 1-2 GB,模型越小占比越高 | CUDA kernel 缓冲 | 基本不可控 |
常见误区:把参数量(Billion)当成显存 GB 数。实际大小 = 参数量 × 每参数字节数。7B FP16 约 14 GB;27B INT8 约 27 GB(未计元数据)。参数量数值与 GB 数仅在 INT8 下巧合相等,不可外推为通用规律。
\n二、权重通用公式
\n模型权重(GB)≈ 参数量(B)× 每参数字节数(Bytes)。每参数字节数由量化格式与元数据共同决定:
\n| 精度 | 每参数字节数 | 27B 权重 | 7B 权重 |
|---|---|---|---|
| FP32 | 4 | 108 GB | 28 GB |
| FP16/BF16 | 2 | 54 GB | 14 GB |
| INT8 | 1 | 27 GB | 7 GB |
| INT4 | 0.5 | 13.5 GB | 3.5 GB |
| AWQ(激活感知量化)4-bit | 约 0.6(含量化元数据) | 约 16 GB | 约 4.2 GB |
| GGUF(llama.cpp 模型格式)Q4_K_M | 约 0.54 | 约 14.6 GB | 约 3.8 GB |
数据口径:按通用公式推算(参数量×每参数字节+KV Cache),可对照 deep-learning-101 开源笔记 GPU.md 的显存估算章节复核。
\n三、KV Cache
\n总显存 ≈ 模型权重 + KV Cache + 系统预留。KV Cache 随上下文长度线性增长。粗估公式:每 token KV ≈ 2(K+V)× 层数 × head_dim × 每元素字节数。
\n以 28 层 / head_dim 128 / INT8 的 27B 稠密模型为例,按全头 KV、未用 GQA 计,每 token 约 7 KB,1K token 约 7 MB,32K 上下文公式值约 230 MB。若开启多序列或未用 GQA(Grouped Query Attention,分组查询注意力,KV 头数少于全头),实测会更高,估算时取经验高值 1.2 GB 更安全。
\n32K 上下文 + 27B INT8 ≈ 27 GB(权重)+ 1.2 GB(KV,经验高值)+ 1.5 GB(开销)≈ 29.7 GB,24 GB 卡无法运行,需同时加量化并缩短上下文。
\n四、27B 方案估算对比(24 GB 卡)
\n以 27B 稠密模型为例,24 GB 显存(RTX 4090D / 3090)是本地部署的主流卡,方案估算如下(表中数字为公式推算值):
\n| 方案 | 量化 | 权重占用 | 32K 总占用 | 质量损失 | 速度 |
|---|---|---|---|---|---|
| vLLM + INT8 | INT8 | 27 GB | 约 30 GB | 极小 | 快 |
| vLLM + AWQ INT4 | INT4 | 16 GB | 约 18 GB | 小 | 快 |
| llama.cpp + GGUF Q4_K_M | INT4 | 14.6 GB | 约 16.5 GB | 小 | 中 |
| SGLang + INT4 | INT4 | 16 GB | 约 18 GB | 小 | 快 |
24 GB 卡跑 27B 宜选 INT4;32K 上下文下 llama.cpp / GGUF 占用约 16.5 GB,余量较大;vLLM 吞吐最快;SGLang 在并发场景兼顾两者。
\n口径说明:表中数字为公式推算值,非某一篇实测的转载。
\n五、MoE(混合专家模型)与稠密模型的差异
\n上述公式对稠密模型是精确的。对 MoE(Mixture of Experts,混合专家:总参数巨大但每个 token 只激活一小部分)需修正:MoE 权重 ≈ 总参数量 × 每参数字节数,不区分激活参数。所有专家权重必须同时加载,激活参数只决定算力。
\n| 模型类型 | 总参数量 | 激活参数 | INT4 权重 |
|---|---|---|---|
| 大 MoE · 例 A(量级示意,非特指某型号) | 141B | 3B | 约 70 GB |
| 27B 稠密 | 27B | 27B | 约 13.5 GB |
| 超大 MoE · 例 B(量级示意,非特指某型号) | 2.4T | 95B | 约 1200 GB |
MoE 显存陷阱:“激活只有 3B”不等于“3 GB 就能跑”。以 141B 总参、INT4 算,权重就要约 70 GB,需 4 张 24 GB 卡或大内存 CPU 推理。
\n数据参考:deep-learning-101 开源笔记 GPU.md(LLM 显存估算章节)。
\n六、完整估算工作流
\n- \n
- 确定模型与量化:查 HuggingFace 或 ModelScope 模型卡,拿到参数量、层数、head_dim,选定目标精度; \n
- 估算权重:参数量 × 每参数字节数; \n
- 估算 KV Cache:按目标上下文长度用上方公式粗算,或参考 llama.cpp 显存估算经验值; \n
- 加系统预留:固定 1-2 GB; \n
- 留 10-15% 安全余量:实际可用显存 ≈ 标称显存 × 0.85~0.9。 \n
举例:27B INT4 + 32K 上下文,24 GB 卡:权重 13.5 GB + KV 1.2 GB + 系统预留 1.5 GB ≈ 16.2 GB,可用约 21.6 GB,余量约 5.4 GB,可跑。
\n同模型 FP16 + 32K:权重 54 GB + KV 2.4 GB + 预留 1.5 GB ≈ 57.9 GB,远超 21.6 GB,不可跑。换 48 GB 级单卡最省事;用两张 24 GB 做张量并行也能装下(54 GB 拆到每卡约 27 GB,仍超 24 GB 可用余量,实际要压一点量化或选短上下文)。
\n七、典型症状与诊断
\n| 卡型 | 显存 | 27B INT4 可用 | 通常瓶颈 |
|---|---|---|---|
| RTX 3060 12 GB | 12 GB | 不够(权重 13.5 GB) | 权重占满,长上下文不可行 |
| RTX 4090 24 GB | 24 GB | 可跑(占用约 16.2 GB) | 无,32K 可留约 5.4 GB |
| RTX A6000 48 GB | 48 GB | 余量充足 | FP16 54 GB 仍不可行,INT4 + 64K 可行 |
| RTX 4090 × 2 | 48 GB | 不可跑 FP16 54 GB(拆 2 卡单卡 27 GB 超 24 GB,需 4 卡或 2×48 GB) | 跨卡 PCIe 带宽瓶颈,吞吐约 0.5 倍 |
| H100 80 GB | 80 GB | 可跑(含 FP16 + 32K,占用 56.4 GB,余量约 23 GB) | 无 |
12 GB 卡跑 27B 需 INT4 且上下文受限;24 / 48 GB 是 27B 的合理区间;H100 才能考虑 FP16 与长上下文。
\n| 症状 | 大概率根因 | 快速验证 | 解决思路 |
|---|---|---|---|
| 加载权重时 OOM | 权重超过可用显存 | nvidia-smi 对比占用与模型大小 | 换更低量化或分卡加载 |
| 长上下文后 OOM | KV Cache 膨胀 | 监控显存随 token 线性上升 | 缩短上下文 / 减小 batch / 用 PagedAttention |
| 并发后 OOM | 多请求 KV 累积 | 查看 --max-num-seqs | 限制并发 / 调 max_num_batched_tokens |
| 并发后变慢(非 OOM) | CUDA kernel 调度等待 | 对比单请求与并发首 token 延迟 | 调高 --tp / 减少上下文 / 换 SGLang |
| 随机 OOM | 内存碎片 | ncu(NVIDIA Nsight Compute 命令行)分析分配时间线 | 重启进程 / 减少碎片 |
八、结论
\n显存估算可拆为权重、KV Cache、系统开销三部分,并区分稠密与 MoE(按总参数量算)及精度系数。多数“跑不动”的报错来自权重与 KV Cache 双重低估,长上下文场景下误差更明显。
\n24 GB 卡跑 27B,INT4 加 32K 上下文留得住余量。MoE 模型显存按总参数量走,不看激活参数。推理框架里 llama.cpp 偏稳,vLLM 单请求吞吐高,SGLang 在高并发下更占优。
\n参考来源(附录)
\n文中全部数字为公式推算值,引用来源用于口径对照。
\n- \n
- deep-learning-101 开源笔记 GPU.md(LLM 显存估算章节),github.com/Deep-Learning-101/deep-learning-101.github.io \n
- CSDN《8G 显存跑 27B:先把显存这四笔账算清,再谈量化》(作者、日期、链接待补) \n