首页 /文章 /Bonsai 2 补齐三款三值量化模型:9B 只有 2GB,端侧 agent 的账要重新算

Bonsai 2 补齐三款三值量化模型:9B 只有 2GB,端侧 agent 的账要重新算

PrismML 新增基于 Qwen3.5 的三值量化模型 Bonsai 2 2B/4B/9B(权重仅 -1/0/+1),9B 体积 2GB、比全精度小 9 倍以上;4090/M5 Pro 上吞吐最高 5 倍、能效 3 倍,iPhone 上 9B 达 34 tokens/s。Apache 2.0 开源,llama.cpp/MLX 可跑;保留率具体数字未公开是选型缺口。

Bonsai2三值量化ternaryQwen3.5端侧模型2026Q4
分类:大模型专题 › 模型侧推理改造 发布于 2026-10-21 38 次浏览

说明

PrismML 把 Bonsai 2 家族扩到四个尺寸:在 Bonsai 2 27B 之外,新增基于 Qwen3.5 的三值(ternary)量化模型 2B、4B、9B,权重只用 -1/0/+1 三个值表示。体积最小的好处很直接:9B 模型只有 2GB,比全精度基座小 9 倍以上。这篇拆解官方公布的体积、吞吐、能耗数据与评测口径,评点它适合什么场景、哪些关键信息官方没给。

本文重点覆盖四块内容:

  • 家族构成与体积账:2B/4B/9B 三值量化(权重仅 -1/0/+1)对应 0.43GB/0.95GB/2GB,较全精度小 9 倍以上。
  • 端侧性能数据:4090/M5 Pro 上吞吐最高 5 倍、能效 3 倍;iPhone 18 Pro Max 上 9B 达 34 tokens/s 的实测口径。
  • 官方评测口径与缺口:19 项基准 6 技能集只与其全精度基座自比,保留率具体数字未公开、无第三方横评。
  • 落地路径:Apache 2.0、llama.cpp/MLX 双栈、Darkbloom 托管试用,以及 Samsung/Snapdragon 硬件线索的解读。

一 家族构成与体积账

1.1 四个尺寸一条线

Bonsai 2 家族现在覆盖 2B、4B、9B、27B 四档,三款新模型基于 Qwen3.5 对应尺寸做三值量化。官方给出的体积对照:

模型三值量化体积相对全精度
Ternary Bonsai 2 2B0.43GB缩小 9 倍以上
Ternary Bonsai 2 4B0.95GB缩小 9 倍以上
Ternary Bonsai 2 9B2GB缩小 9 倍以上

这个体积量级意味着什么:2GB 的 9B 模型可以 comfortably 放进手机的常驻内存预算,0.43GB 的 2B 则给可穿戴设备(手表、眼镜)留出了与系统其他部分共存的空间。对比常规做法:Qwen 级模型即使 4bit 量化,9B 也要 5GB 上下,三值表示把"端侧常驻一个大一点的模型"从勉强可行变成从容可行。

1.2 能力保留的说法与缺口

官方在 19 项基准、6 个技能集(agentic 工具调用、数学、指令遵循、编码、知识推理、视觉)上评测了新模型,并给出与对应全精度 Qwen3.5 基座的对照表和技能集"保留率"汇总。方向上的表述是:推理、视觉理解、工具驱动工作流都比初代 Bonsai 增强。

需要留意的缺口:正文没有给出各技能集保留率的具体数字,汇总表在原文以图片/表格呈现,纯文本抓不到。选型时不能拿"官方说保留得好"当依据,要等白皮书数字或第三方复测。另外 19 项基准里也没有出现 MMLU-Pro、SWE-bench 这类行业惯用主榜成绩,横向可比性有限:与全精度基座自比只是纵向口径,跨家族比较还需要独立评测。

二 端侧真正的卖点:吞吐与能耗

2.1 官方性能数字

量化模型在端侧的价值不只在装得下,还在跑得快、费电少。官方数据:

  • RTX 4090、M5 Pro 上,Bonsai 2 模型吞吐最高达对应全精度模型的 5 倍,能效最高 3 倍。
  • M5 Max Pro 上:9B 最高 179 tokens/s,2B 最高 310 tokens/s。
  • iPhone 18 Pro Max 上:9B 最高 34 tokens/s,2B 最高 120 tokens/s。

2.2 为什么 agent 工作流对推理速度更敏感

官方论证值得单独说:agent 会交替执行"解读信息、选工具、生成回复"多个步骤,推理性能在整条工作流的每一步都参与耗时。桌面端聊天场景 30 tokens/s 够用;端侧 agent 一次任务串三四个模型调用步骤,单步慢一倍,等待时间叠加就是好几倍。这就是端侧模型"快"与"省"要一起讲的原因:同一块电池预算下,能效决定能多频繁地用。

2.3 啰嗦度也是指标

官方明确把"避免重复循环、遵循指令、移动端调用工具、控制输出长度"列为这一版的开发重点,并给了一个具体口径:本地助手场景下,9B 模型在标准指令遵循和日常数学任务上少用约 40% 的 token。端侧生成每个 token 都要花电和时间,砍掉废话等于直接提升续航与响应。官方那句自嘲"Solving the Riemann Hypothesis can wait"(解决黎曼猜想可以等等再说)点明了产品取向:不追难题分数,追日常任务好用。

三 落地路径与厂商背景

3.1 怎么跑起来

  • NVIDIA GPU:llama.cpp
  • Apple 全设备(Mac/iPhone/iPad):MLX
  • 托管试用:Darkbloom 控制台(console.darkbloom.dev),注册前 100 名送 2.5 亿 token
  • 权重许可:Apache 2.0,商用无门槛

llama.cpp + MLX 双栈覆盖意味着现有 GGUF 工具链基本能直接接住,迁移成本低。

3.2 厂商与硬件线索

PrismML 团队出自 Caltech,融资方包括 Khosla Ventures、Cerberus、Google,并有 Samsung 持续支持。9 月 Snapdragon Summit 上,演示过初代 Bonsai 视觉语言模型跑在 Snapdragon AR1 Gen 1 平台的 AI 眼镜上。端侧 VLM(视觉语言模型)加可穿戴的组合已经在做实物验证,Bonsai 2 的增强(推理/视觉/工具调用)对着的就是"手机、眼镜、可穿戴上的基础 agent 能力"这条产品线。

给硬件厂商做选型的话,这条线索比基准分数更有信号:三值量化路线有 Samsung 支持并在 AR 平台演示过,说明它瞄准的是出货级集成,不止是论文。

四 对开发者的判断参考

4.1 适合现在评估的场景

  • 手机常驻助手:9B@2GB + iPhone 上 34 tokens/s,够做离线摘要、日程操作、本地文件问答这类短任务链。
  • 可穿戴/眼镜:2B@0.43GB 是当前少见的"能在 AR1 级芯片上跑 VLM"量级的现成选择。
  • 桌面端高吞吐批处理:4090/M5 Pro 上 5 倍吞吐,适合本地批量抽取、分类这类不在乎单条质量极限的任务。

4.2 先别替换生产模型的理由

保留率具体数字未公开、无第三方横评、19 项基准与行业主榜不重叠,三条都指向同一个结论:这批模型适合作为"新增端侧档位"来评估,不适合作为"现有云端模型平替"来决策。Apache 2.0 + llama.cpp/MLX 支持让评估成本很低(下载权重后半天内就能在自己的任务集上跑完),真正要回答的是自己业务上的长尾指令在 -1/0/+1 权重下掉多少分,这个数字只有自测可靠。

引用

  • PrismML 官方博客《The Bonsai 2 family》(2026-10-17):https://prismml.com/news/bonsai-2-family
  • Darkbloom 控制台:https://console.darkbloom.dev
  • llama.cpp:https://github.com/ggml-org/llama.cpp
  • MLX:https://github.com/ml-explore/mlx
关键词 Bonsai2三值量化ternaryQwen3.5端侧模型2026Q4 000092