首页 /文章 /Qwen3.8 系列:本地部署方法

Qwen3.8 系列:本地部署方法

Ollama 与 vLLM 两条路线:从硬件前置检查、模型拉取、启动到调用,附 Mac M 系列说明与三个常见卡点。

大模型本地部署Qwen3.82026Q3
分类:工程与基础设施 发布于 2026-09-21 31 次浏览
Qwen3.8-27B 本地部署指南:Ollama 与 vLLM 两条路线

先给结论:只是试用,选 Ollama,一条命令即可起步;要给多人提供服务,选 vLLM,显存省、吞吐高。27B 这个尺寸,做 4-bit(4 位量化,权重压到约四分之一)后,权重约 16.5GB,配 24GB 显存的卡跑得稳;16GB 的卡要压缩上下文才塞得下(算法见文末「显存账」一节)。判断依据和容易踩的坑在正文。

关键事实数值与复核入口

项目 数值 / 说明 复核入口
模型系列 Qwen3.8(阿里千问团队开源系列,含 270 亿参数的 27B;许可协议看模型卡的 License 字段,整理页标为 Apache 2.0,可商用;发布月份查官方公告) Hugging Face 集合页 https://huggingface.co/collections/Qwen/qwen38;魔搭 https://www.modelscope.cn/collections/Qwen/Qwen38
量化档位与权重大小 4-bit 约 16.5GB / FP8(8 位浮点量化)约 27GB / BF16(近全精度格式)约 56GB(体积按参数量 × 位宽推算,实际以文件列表为准) 上述 HF 集合页各型号 Files 区
官方 API 官方已预告将推出 API 版本;二手整理页称默认 100 万 token(模型处理文字的最小单位)上下文,该数字本文未从一手公告复核到,正式发布说明里会有准数 千问官网公告与阿里云百炼定价页
驱动门槛 Ollama 需 NVIDIA 驱动 ≥535,vLLM 需 ≥545 + CUDA(NVIDIA 的 GPU 计算平台)12.4+ Ollama / vLLM 官方文档安装要求节

一、部署前置检查

  • 检查显卡与显存。查看 nvidia-smi(NVIDIA 驱动的命令行查看工具)输出里的 Driver Version(驱动版本)与 Total Memory(显存总量)。NVIDIA 显卡驱动按两家文档的最低线走(写作时 Ollama 要求 ≥535、vLLM 要求 ≥545,装前查当日文档);AMD 平台走 ROCm(AMD 显卡的计算软件栈,对标 CUDA;GPU 即显卡处理器,Ollama / vLLM 均支持,但适配面比 NVIDIA 窄);Mac 机型见下文 M 系列说明。
  • 检查磁盘占用。模型权重单次下载约 16.5GB 起(4-bit,4 位量化,权重压到约四分之一)/ 27GB(FP8,8 位浮点量化)/ 56GB(BF16,近全精度格式)。留 2 倍磁盘空间给权重和 KV cache(键值缓存,推理时缓存已算过的注意力中间结果,换速度费显存)预分配。
  • 确认量化档位。对照文首事实表的量化档位选:显存不够装下「权重 + KV cache」时降一档。

二、Ollama 路线(适合快速上手)

Ollama 是命令行工具,自动管理 GGUF(llama.cpp 体系的量化模型文件格式)权重的下载与加载,自带 OpenAI 兼容接口(按 OpenAI 的 API 格式说话,现成客户端能直接接)。

  • 安装。Linux:curl -fsSL https://ollama.com/install.sh | sh;macOS / Windows:官网下载图形安装器。
  • 拉取模型。ollama pull qwen3.8:27b-q4(示例标签 qwen3.8:27b-q4 是常见写法,实际以 Ollama 库页 https://ollama.com/library/qwen3.8 列出的标签为准)。首次拉取的体积在十几 GB 量级(4-bit 档,具体看仓库文件列表),耗时取决于网速。
  • 启动。ollama serve(默认端口 11434)。
  • 调用。HTTP 接口:
    curl http://localhost:11434/api/chat -d '{
      "model":"qwen3.8:27b-q4",
      "messages":[{"role":"user","content":"介绍一下自己"}]
    }'
  • 接前端。Ollama 自带 OpenAI 兼容端点 http://localhost:11434/v1,base_url 指过去即可接 ChatBox / Cherry Studio / LobeChat。

三、vLLM 路线(适合服务化部署)

vLLM 是推理框架(核心是 PagedAttention,像操作系统分页那样管理显存缓存,加连续批处理:多条请求拼批次跑),适合团队内网、要并发、要高吞吐的场景。

  • 安装。pip install vllm,需要 Python 3.9+、CUDA 12.4+、显存 ≥ 权重 + KV cache。
  • 启动。--max-model-len(单条请求的最大上下文长度)按场景设:短对话 8K,长文档 32K,超长 128K(各档权重的磁盘与显存需求,见文末「显存账」一节)。
    vllm serve Qwen/Qwen3.8-27B \
      --quantization fp8 \
      --max-model-len 32768 \
      --gpu-memory-utilization 0.85 \
      --port 8000
  • 调用(OpenAI SDK):
    from openai import OpenAI
    client = OpenAI(base_url="http://localhost:8000/v1", api_key="***")
    r = client.chat.completions.create(
        model="Qwen/Qwen3.8-27B",
        messages=[{"role":"user","content":"用一句话介绍 Qwen3.8-27B"}]
    )
    print(r.choices[0].message.content)

四、两条路线对比

维度 路线一:Ollama 路线二:vLLM
安装复杂度 一条命令装,模型自动拉取 pip + CUDA 环境,模型按 Hub 路径拉取
吞吐 单请求为主 并发 + 连续批处理,吞吐量高
接口 自带 OpenAI 兼容 原生 OpenAI 兼容(FastAPI)
适合场景 个人试用 / 桌面 / 前端 demo 团队内网 / 生产服务
显存占用(同模型同量化) 略高(默认预留 KV cache 偏大) 低(PagedAttention 按需分配)
可维护性 命令拉取新版本 pip 版本管理,需自维护

五、Mac M 系列特别说明

  • Mac 统一内存(Unified Memory,CPU 与 GPU(中央处理器与显卡处理器)共用一片内存)按系统可分配上限共享给 GPU。M 系列 AI 框架走 MetalPerformanceShaders(苹果 GPU 的加速计算接口),Ollama / LM Studio 均支持。
  • 苹果自研芯片 M1–M3 机型:16GB 统一内存塞不下 4-bit 全套(权重就约 16.5GB),24GB 机型可跑,占用估算在 18–20GB 量级(按权重加系统开销推的粗账,实际随机型与上下文长度波动)。
  • M2 Ultra / M3 Ultra 192G+:可跑 BF16 无损版(约 56GB 权重,与前置检查节同一口径)或 128K 长上下文。
  • 注意:Mac 的 Metal(苹果图形与计算接口)后端比 CUDA(NVIDIA 的计算平台)后端慢 20–40%(同样 4-bit),对延迟敏感的场景用 NVIDIA 单卡更好。

六、上下文长度:原生 262K,外推靠 YaRN

模型卡页面标称原生上下文 262K token(约相当于四十万个汉字),该数字以官方模型卡为准,装整个代码库或几本书的问答场景够用。官方称可经 YaRN(一种位置编码外推技术,不用重训模型)扩到 1M token,该说法同样以模型卡与框架文档为准:vLLM 在启动参数里配 rope_scaling(旋转位置编码的缩放项),Ollama 用 Modelfile(自定义模型配置文件)改同名参数。代价要知道:外推段落的检索质量会掉,长文档任务优先把关键材料放在靠前位置,别指望一百万 token 每个角落都看得一样清。

七、三个容易卡住的点

最常见的是首 token 延迟高。多半是权重从磁盘加载慢(SSD 固态硬盘比 HDD 机械硬盘快 10–50 倍),或者显存没预分配够。对策按顺序试:模型放 SSD、调高 gpu_memory_utilization(显存利用率上限参数)、换更小的量化档位。

第二类是 vLLM 启动时 OOM(内存耗尽报错)。根子在 max-model-len(单条请求的最大上下文长度)设太大,KV cache 预分配挤爆了显存,按场景往下压就行。

第三类是 CUDA 版本与驱动不匹配,vLLM 会报「CUDA driver not found」。用 nvidia-smi 看驱动版本,对着 vLLM 文档的最低要求核;对不上就升驱动,或者直接用配好对应 CUDA 版本的 Docker(容器打包格式)镜像。

八、显存账:能不能跑,一道乘法就够

部署前把三个数相加,和显卡显存对比:

  • 权重:4-bit 的 27B 按 270 亿参数 × 每参数 0.5 字节估算约 16.5GB(HF 文件列表可查实际体积);
  • KV cache:粗略按「上下文长度 × 每 token 缓存字节」估:27B 级稠密模型每 token 缓存约一二百 KB(层数与隐藏维度决定,网上有现成计算器),32K 上下文的缓存就算到数 GB,vLLM 的 --gpu-memory-utilization 0.85(显存利用率封顶在 85%)就是给这块留的安全垫;
  • 运行时开销:CUDA 上下文与框架自身,留 1–2GB。

以 RTX 4090(NVIDIA 消费级旗舰卡,24GB 显存)跑 4-bit 27B + 32K 上下文为例:16.5 + 约 4 + 1.5 ≈ 22GB,贴线可跑;想同时开两条并发请求,缓存翻倍,就该降 --max-model-len 或换 8-bit 以下更小档位。这笔账每个数字都能在文档与文件列表里查到,不用背结论。

数据来源

一手:Hugging Face 的 Qwen3.8 模型集合页(https://huggingface.co/collections/Qwen/qwen38,各尺寸权重的文件体积可在页面文件列表查到);Ollama 库页面 https://ollama.com/library/qwen3.8(标签与拉取命令);vLLM 官方文档 https://docs.vllm.ai(安装要求与启动参数节)。二手:AI 工具集对 Qwen3.8-27B 的整理页 https://ai-bot.cn/qwen3-8-27b(含「官方 API 预告默认 100 万 token 上下文」的说法,本文未从一手公告复核到该数字,引用时已标注)。Qwen、NVIDIA、CUDA、Metal、AMD、ROCm、OpenAI 为各自公司商标,仅作产品指称。

关键词 大模型本地部署Qwen3.82026Q3 000023