Qwen3.8 系列:本地部署方法
Ollama 与 vLLM 两条路线:从硬件前置检查、模型拉取、启动到调用,附 Mac M 系列说明与三个常见卡点。
先给结论:只是试用,选 Ollama,一条命令即可起步;要给多人提供服务,选 vLLM,显存省、吞吐高。27B 这个尺寸,做 4-bit(4 位量化,权重压到约四分之一)后,权重约 16.5GB,配 24GB 显存的卡跑得稳;16GB 的卡要压缩上下文才塞得下(算法见文末「显存账」一节)。判断依据和容易踩的坑在正文。
关键事实数值与复核入口
| 项目 | 数值 / 说明 | 复核入口 |
|---|---|---|
| 模型系列 | Qwen3.8(阿里千问团队开源系列,含 270 亿参数的 27B;许可协议看模型卡的 License 字段,整理页标为 Apache 2.0,可商用;发布月份查官方公告) | Hugging Face 集合页 https://huggingface.co/collections/Qwen/qwen38;魔搭 https://www.modelscope.cn/collections/Qwen/Qwen38 |
| 量化档位与权重大小 | 4-bit 约 16.5GB / FP8(8 位浮点量化)约 27GB / BF16(近全精度格式)约 56GB(体积按参数量 × 位宽推算,实际以文件列表为准) | 上述 HF 集合页各型号 Files 区 |
| 官方 API | 官方已预告将推出 API 版本;二手整理页称默认 100 万 token(模型处理文字的最小单位)上下文,该数字本文未从一手公告复核到,正式发布说明里会有准数 | 千问官网公告与阿里云百炼定价页 |
| 驱动门槛 | Ollama 需 NVIDIA 驱动 ≥535,vLLM 需 ≥545 + CUDA(NVIDIA 的 GPU 计算平台)12.4+ | Ollama / vLLM 官方文档安装要求节 |
一、部署前置检查
- 检查显卡与显存。查看
nvidia-smi(NVIDIA 驱动的命令行查看工具)输出里的 Driver Version(驱动版本)与 Total Memory(显存总量)。NVIDIA 显卡驱动按两家文档的最低线走(写作时 Ollama 要求 ≥535、vLLM 要求 ≥545,装前查当日文档);AMD 平台走 ROCm(AMD 显卡的计算软件栈,对标 CUDA;GPU 即显卡处理器,Ollama / vLLM 均支持,但适配面比 NVIDIA 窄);Mac 机型见下文 M 系列说明。 - 检查磁盘占用。模型权重单次下载约 16.5GB 起(4-bit,4 位量化,权重压到约四分之一)/ 27GB(FP8,8 位浮点量化)/ 56GB(BF16,近全精度格式)。留 2 倍磁盘空间给权重和 KV cache(键值缓存,推理时缓存已算过的注意力中间结果,换速度费显存)预分配。
- 确认量化档位。对照文首事实表的量化档位选:显存不够装下「权重 + KV cache」时降一档。
二、Ollama 路线(适合快速上手)
Ollama 是命令行工具,自动管理 GGUF(llama.cpp 体系的量化模型文件格式)权重的下载与加载,自带 OpenAI 兼容接口(按 OpenAI 的 API 格式说话,现成客户端能直接接)。
- 安装。Linux:
curl -fsSL https://ollama.com/install.sh | sh;macOS / Windows:官网下载图形安装器。 - 拉取模型。
ollama pull qwen3.8:27b-q4(示例标签qwen3.8:27b-q4是常见写法,实际以 Ollama 库页 https://ollama.com/library/qwen3.8 列出的标签为准)。首次拉取的体积在十几 GB 量级(4-bit 档,具体看仓库文件列表),耗时取决于网速。 - 启动。
ollama serve(默认端口 11434)。 - 调用。HTTP 接口:
curl http://localhost:11434/api/chat -d '{ "model":"qwen3.8:27b-q4", "messages":[{"role":"user","content":"介绍一下自己"}] }' - 接前端。Ollama 自带 OpenAI 兼容端点
http://localhost:11434/v1,base_url 指过去即可接 ChatBox / Cherry Studio / LobeChat。
三、vLLM 路线(适合服务化部署)
vLLM 是推理框架(核心是 PagedAttention,像操作系统分页那样管理显存缓存,加连续批处理:多条请求拼批次跑),适合团队内网、要并发、要高吞吐的场景。
- 安装。
pip install vllm,需要 Python 3.9+、CUDA 12.4+、显存 ≥ 权重 + KV cache。 - 启动。
--max-model-len(单条请求的最大上下文长度)按场景设:短对话 8K,长文档 32K,超长 128K(各档权重的磁盘与显存需求,见文末「显存账」一节)。vllm serve Qwen/Qwen3.8-27B \ --quantization fp8 \ --max-model-len 32768 \ --gpu-memory-utilization 0.85 \ --port 8000 - 调用(OpenAI SDK):
from openai import OpenAI client = OpenAI(base_url="http://localhost:8000/v1", api_key="***") r = client.chat.completions.create( model="Qwen/Qwen3.8-27B", messages=[{"role":"user","content":"用一句话介绍 Qwen3.8-27B"}] ) print(r.choices[0].message.content)
四、两条路线对比
| 维度 | 路线一:Ollama | 路线二:vLLM |
|---|---|---|
| 安装复杂度 | 一条命令装,模型自动拉取 | pip + CUDA 环境,模型按 Hub 路径拉取 |
| 吞吐 | 单请求为主 | 并发 + 连续批处理,吞吐量高 |
| 接口 | 自带 OpenAI 兼容 | 原生 OpenAI 兼容(FastAPI) |
| 适合场景 | 个人试用 / 桌面 / 前端 demo | 团队内网 / 生产服务 |
| 显存占用(同模型同量化) | 略高(默认预留 KV cache 偏大) | 低(PagedAttention 按需分配) |
| 可维护性 | 命令拉取新版本 | pip 版本管理,需自维护 |
五、Mac M 系列特别说明
- Mac 统一内存(Unified Memory,CPU 与 GPU(中央处理器与显卡处理器)共用一片内存)按系统可分配上限共享给 GPU。M 系列 AI 框架走 MetalPerformanceShaders(苹果 GPU 的加速计算接口),Ollama / LM Studio 均支持。
- 苹果自研芯片 M1–M3 机型:16GB 统一内存塞不下 4-bit 全套(权重就约 16.5GB),24GB 机型可跑,占用估算在 18–20GB 量级(按权重加系统开销推的粗账,实际随机型与上下文长度波动)。
- M2 Ultra / M3 Ultra 192G+:可跑 BF16 无损版(约 56GB 权重,与前置检查节同一口径)或 128K 长上下文。
- 注意:Mac 的 Metal(苹果图形与计算接口)后端比 CUDA(NVIDIA 的计算平台)后端慢 20–40%(同样 4-bit),对延迟敏感的场景用 NVIDIA 单卡更好。
六、上下文长度:原生 262K,外推靠 YaRN
模型卡页面标称原生上下文 262K token(约相当于四十万个汉字),该数字以官方模型卡为准,装整个代码库或几本书的问答场景够用。官方称可经 YaRN(一种位置编码外推技术,不用重训模型)扩到 1M token,该说法同样以模型卡与框架文档为准:vLLM 在启动参数里配 rope_scaling(旋转位置编码的缩放项),Ollama 用 Modelfile(自定义模型配置文件)改同名参数。代价要知道:外推段落的检索质量会掉,长文档任务优先把关键材料放在靠前位置,别指望一百万 token 每个角落都看得一样清。
七、三个容易卡住的点
最常见的是首 token 延迟高。多半是权重从磁盘加载慢(SSD 固态硬盘比 HDD 机械硬盘快 10–50 倍),或者显存没预分配够。对策按顺序试:模型放 SSD、调高 gpu_memory_utilization(显存利用率上限参数)、换更小的量化档位。
第二类是 vLLM 启动时 OOM(内存耗尽报错)。根子在 max-model-len(单条请求的最大上下文长度)设太大,KV cache 预分配挤爆了显存,按场景往下压就行。
第三类是 CUDA 版本与驱动不匹配,vLLM 会报「CUDA driver not found」。用 nvidia-smi 看驱动版本,对着 vLLM 文档的最低要求核;对不上就升驱动,或者直接用配好对应 CUDA 版本的 Docker(容器打包格式)镜像。
八、显存账:能不能跑,一道乘法就够
部署前把三个数相加,和显卡显存对比:
- 权重:4-bit 的 27B 按 270 亿参数 × 每参数 0.5 字节估算约 16.5GB(HF 文件列表可查实际体积);
- KV cache:粗略按「上下文长度 × 每 token 缓存字节」估:27B 级稠密模型每 token 缓存约一二百 KB(层数与隐藏维度决定,网上有现成计算器),32K 上下文的缓存就算到数 GB,vLLM 的
--gpu-memory-utilization 0.85(显存利用率封顶在 85%)就是给这块留的安全垫; - 运行时开销:CUDA 上下文与框架自身,留 1–2GB。
以 RTX 4090(NVIDIA 消费级旗舰卡,24GB 显存)跑 4-bit 27B + 32K 上下文为例:16.5 + 约 4 + 1.5 ≈ 22GB,贴线可跑;想同时开两条并发请求,缓存翻倍,就该降 --max-model-len 或换 8-bit 以下更小档位。这笔账每个数字都能在文档与文件列表里查到,不用背结论。
数据来源
一手:Hugging Face 的 Qwen3.8 模型集合页(https://huggingface.co/collections/Qwen/qwen38,各尺寸权重的文件体积可在页面文件列表查到);Ollama 库页面 https://ollama.com/library/qwen3.8(标签与拉取命令);vLLM 官方文档 https://docs.vllm.ai(安装要求与启动参数节)。二手:AI 工具集对 Qwen3.8-27B 的整理页 https://ai-bot.cn/qwen3-8-27b(含「官方 API 预告默认 100 万 token 上下文」的说法,本文未从一手公告复核到该数字,引用时已标注)。Qwen、NVIDIA、CUDA、Metal、AMD、ROCm、OpenAI 为各自公司商标,仅作产品指称。