首页 /文章 /Bonsai 2 补上三款三值模型:最小的 2B 只有 0.43GB

Bonsai 2 补上三款三值模型:最小的 2B 只有 0.43GB

Bonsai 2 系列新增三款三值(ternary)模型。基于 Qwen3.5,分别是 2B、4B、9B,与已有的 Bonsai 2 27B 同属一个家族。这一代补齐了从边缘到宽裕算力的整条线。

Bonsai 2三值量化Qwen3.5本地部署边缘设备2026Q4
分类:应用开发 › Agent 与工具调用 发布于 2026-10-18 56 次浏览

Bonsai 2 补上三款三值模型:最小的 2B 只有 0.43GB

PrismML 给 Bonsai 2 系列补了三款三值(ternary,权重只用 -1/0/+1 编码)模型。官方新闻页称基座为 Qwen3.5(阿里 Qwen 系列,版本号待核),参数规模分别为 2B、4B、9B,与已有的 Bonsai 2 27B 同属一个家族,四档合起来覆盖从边缘设备到算力宽裕的场景。

三值权重只有 {-1, 0, +1} 三个取值。按 PrismML 的说法,相对 FP16 全精度,体积压到约九分之一。按文件大小,2B 版本 0.43GB,4B 版本 0.95GB,9B 版本 2GB。

部署门槛方面,PrismML 称普通笔记本与树莓派级设备即可运行;官方同时列出推理、图像理解与工具调用这组能力,未给分项得分。

对从业者的影响

本地选型多了一档:27B 面向算力宽裕的场景,2B/4B/9B 面向边缘设备,复杂度、延迟与内存可以分开权衡。

压缩后的能力是否够用,目前只有 PrismML 单方说法,暂无第三方复测。体积约九分之一的压缩比与所宣称的能力范围,也都只有新闻页这一处出处。

若基座确为 Qwen3.5,迁移成本会更低:工具链、提示词习惯与评测基准可以直接复用;这条前提一旦不成立,这项好处也就不存在。基座版本目前只能以官方新闻页为准,无独立信源交叉确认。

放在压缩谱系里看:主流量化 INT4 每参数约 0.5 字节;三值理论上每参数 1 比特,折算约 0.125 字节,含缩放开销会略高。相对 INT4 的 0.5 字节,容量省下约四分之三,内存带宽同步省。边缘设备的推理速度,瓶颈常在权重搬运,这也是 PrismML 强调 iPhone 端每秒上百 token 的原因(官方口径,未见独立测试)。代价是表达能力:权重只有三个档位,同等参数量能装下的信息更少。官方因此用 27B 与 2B/4B/9B 分档,并未宣称小模型追平大模型。

需要注意的限制

PrismML 目前只公布体积与能力范围,未给出三个小档位在具体任务上的得分区间。

体积决定上限:0.43GB 能装进更多设备,也意味着复杂推理的上限低于 27B。选型可以简化成一句话:设备能容纳 27B 就优先用 27B;只有体积受限时,再考虑三值小档,并用自家任务验证能力下限。

来源:PrismML 官方新闻页《Introducing Ternary Bonsai 2 2B, 4B and 9B》(https://prismml.com/news/bonsai-2-family,检索日期待核,发布前补齐);Hugging Face collection「Bonsai 2 Small」(https://huggingface.co/collections/prism-ml)。

关键词 Bonsai 2三值量化Qwen3.5本地部署边缘设备2026Q4 000084