首页 /文章 /本地部署显存计算:通用公式与 27B 实操

本地部署显存计算:通用公式与 27B 实操

LLM 显存三部分构成(权重 / KV Cache / 系统开销)+ 通用计算公式(FP16/INT8/INT4/AWQ/GGUF 对照表)+ KV Cache 长上下文爆炸风险 + 27B INT4 在 24GB 卡上的完整估算工作流 + MoE 模型显存陷阱(按总参数量算)+ 实操步骤。

显存计算本地部署Qwen3.8-27B量化2026Q3
分类:大模型专题 发布于 2026-09-21 49 次浏览

本地部署显存计算:通用公式与 27B 实操

\n

显存可按三段估算:模型权重、KV Cache、系统开销。算清这三段,24 GB 卡跑 27B 该选 INT4 还是 FP16,就有答案。CUDA out of memory(显存不足)多半是显存算少了。

\n

一、显存构成

\n
\n\n\n\n
组成占比(27B/INT8 典型)与什么成正比能否缩减
模型权重约 75%参数量 × 每参数字节数换量化 / 换小模型
KV Cache约 15%(长上下文更高)上下文长度 × 层数 × head_dim(注意力头维度)缩短上下文 / PagedAttention(分页注意力)优化碎片
系统开销固定 1-2 GB,模型越小占比越高CUDA kernel 缓冲基本不可控
\n

常见误区:把参数量(Billion)当成显存 GB 数。实际大小 = 参数量 × 每参数字节数。7B FP16 约 14 GB;27B INT8 约 27 GB(未计元数据)。参数量数值与 GB 数仅在 INT8 下巧合相等,不可外推为通用规律。

\n

二、权重通用公式

\n

模型权重(GB)≈ 参数量(B)× 每参数字节数(Bytes)。每参数字节数由量化格式与元数据共同决定:

\n
\n\n\n\n\n\n\n
精度每参数字节数27B 权重7B 权重
FP324108 GB28 GB
FP16/BF16254 GB14 GB
INT8127 GB7 GB
INT40.513.5 GB3.5 GB
AWQ(激活感知量化)4-bit约 0.6(含量化元数据)约 16 GB约 4.2 GB
GGUF(llama.cpp 模型格式)Q4_K_M约 0.54约 14.6 GB约 3.8 GB
\n

数据口径:按通用公式推算(参数量×每参数字节+KV Cache),可对照 deep-learning-101 开源笔记 GPU.md 的显存估算章节复核。

\n

三、KV Cache

\n

总显存 ≈ 模型权重 + KV Cache + 系统预留。KV Cache 随上下文长度线性增长。粗估公式:每 token KV ≈ 2(K+V)× 层数 × head_dim × 每元素字节数。

\n

以 28 层 / head_dim 128 / INT8 的 27B 稠密模型为例,按全头 KV、未用 GQA 计,每 token 约 7 KB,1K token 约 7 MB,32K 上下文公式值约 230 MB。若开启多序列或未用 GQA(Grouped Query Attention,分组查询注意力,KV 头数少于全头),实测会更高,估算时取经验高值 1.2 GB 更安全。

\n

32K 上下文 + 27B INT8 ≈ 27 GB(权重)+ 1.2 GB(KV,经验高值)+ 1.5 GB(开销)≈ 29.7 GB,24 GB 卡无法运行,需同时加量化并缩短上下文。

\n

四、27B 方案估算对比(24 GB 卡)

\n

以 27B 稠密模型为例,24 GB 显存(RTX 4090D / 3090)是本地部署的主流卡,方案估算如下(表中数字为公式推算值):

\n
\n\n\n\n\n
方案量化权重占用32K 总占用质量损失速度
vLLM + INT8INT827 GB约 30 GB极小快
vLLM + AWQ INT4INT416 GB约 18 GB小快
llama.cpp + GGUF Q4_K_MINT414.6 GB约 16.5 GB小中
SGLang + INT4INT416 GB约 18 GB小快
\n

24 GB 卡跑 27B 宜选 INT4;32K 上下文下 llama.cpp / GGUF 占用约 16.5 GB,余量较大;vLLM 吞吐最快;SGLang 在并发场景兼顾两者。

\n

口径说明:表中数字为公式推算值,非某一篇实测的转载。

\n

五、MoE(混合专家模型)与稠密模型的差异

\n

上述公式对稠密模型是精确的。对 MoE(Mixture of Experts,混合专家:总参数巨大但每个 token 只激活一小部分)需修正:MoE 权重 ≈ 总参数量 × 每参数字节数,不区分激活参数。所有专家权重必须同时加载,激活参数只决定算力。

\n
\n\n\n\n
模型类型总参数量激活参数INT4 权重
大 MoE · 例 A(量级示意,非特指某型号)141B3B约 70 GB
27B 稠密27B27B约 13.5 GB
超大 MoE · 例 B(量级示意,非特指某型号)2.4T95B约 1200 GB
\n

MoE 显存陷阱:“激活只有 3B”不等于“3 GB 就能跑”。以 141B 总参、INT4 算,权重就要约 70 GB,需 4 张 24 GB 卡或大内存 CPU 推理。

\n

数据参考:deep-learning-101 开源笔记 GPU.md(LLM 显存估算章节)。

\n

六、完整估算工作流

\n
    \n
  1. 确定模型与量化:查 HuggingFace 或 ModelScope 模型卡,拿到参数量、层数、head_dim,选定目标精度;
  2. \n
  3. 估算权重:参数量 × 每参数字节数;
  4. \n
  5. 估算 KV Cache:按目标上下文长度用上方公式粗算,或参考 llama.cpp 显存估算经验值;
  6. \n
  7. 加系统预留:固定 1-2 GB;
  8. \n
  9. 留 10-15% 安全余量:实际可用显存 ≈ 标称显存 × 0.85~0.9。
  10. \n
\n

举例:27B INT4 + 32K 上下文,24 GB 卡:权重 13.5 GB + KV 1.2 GB + 系统预留 1.5 GB ≈ 16.2 GB,可用约 21.6 GB,余量约 5.4 GB,可跑。

\n

同模型 FP16 + 32K:权重 54 GB + KV 2.4 GB + 预留 1.5 GB ≈ 57.9 GB,远超 21.6 GB,不可跑。换 48 GB 级单卡最省事;用两张 24 GB 做张量并行也能装下(54 GB 拆到每卡约 27 GB,仍超 24 GB 可用余量,实际要压一点量化或选短上下文)。

\n

七、典型症状与诊断

\n
\n\n\n\n\n\n
卡型显存27B INT4 可用通常瓶颈
RTX 3060 12 GB12 GB不够(权重 13.5 GB)权重占满,长上下文不可行
RTX 4090 24 GB24 GB可跑(占用约 16.2 GB)无,32K 可留约 5.4 GB
RTX A6000 48 GB48 GB余量充足FP16 54 GB 仍不可行,INT4 + 64K 可行
RTX 4090 × 248 GB不可跑 FP16 54 GB(拆 2 卡单卡 27 GB 超 24 GB,需 4 卡或 2×48 GB)跨卡 PCIe 带宽瓶颈,吞吐约 0.5 倍
H100 80 GB80 GB可跑(含 FP16 + 32K,占用 56.4 GB,余量约 23 GB)无
\n

12 GB 卡跑 27B 需 INT4 且上下文受限;24 / 48 GB 是 27B 的合理区间;H100 才能考虑 FP16 与长上下文。

\n
\n\n\n\n\n\n
症状大概率根因快速验证解决思路
加载权重时 OOM权重超过可用显存nvidia-smi 对比占用与模型大小换更低量化或分卡加载
长上下文后 OOMKV Cache 膨胀监控显存随 token 线性上升缩短上下文 / 减小 batch / 用 PagedAttention
并发后 OOM多请求 KV 累积查看 --max-num-seqs限制并发 / 调 max_num_batched_tokens
并发后变慢(非 OOM)CUDA kernel 调度等待对比单请求与并发首 token 延迟调高 --tp / 减少上下文 / 换 SGLang
随机 OOM内存碎片ncu(NVIDIA Nsight Compute 命令行)分析分配时间线重启进程 / 减少碎片
\n

八、结论

\n

显存估算可拆为权重、KV Cache、系统开销三部分,并区分稠密与 MoE(按总参数量算)及精度系数。多数“跑不动”的报错来自权重与 KV Cache 双重低估,长上下文场景下误差更明显。

\n

24 GB 卡跑 27B,INT4 加 32K 上下文留得住余量。MoE 模型显存按总参数量走,不看激活参数。推理框架里 llama.cpp 偏稳,vLLM 单请求吞吐高,SGLang 在高并发下更占优。

\n

参考来源(附录)

\n

文中全部数字为公式推算值,引用来源用于口径对照。

\n
    \n
  • deep-learning-101 开源笔记 GPU.md(LLM 显存估算章节),github.com/Deep-Learning-101/deep-learning-101.github.io
  • \n
  • CSDN《8G 显存跑 27B:先把显存这四笔账算清,再谈量化》(作者、日期、链接待补)
  • \n
关键词 显存计算本地部署Qwen3.8-27B量化2026Q3 000009