文章
全部内容 · 共 3 篇 · 最新在前
模型侧推理改造
Bonsai 2 补齐三款三值量化模型:9B 只有 2GB,端侧 agent 的账要重新算
PrismML 新增基于 Qwen3.5 的三值量化模型 Bonsai 2 2B/4B/9B(权重仅 -1/0/+1),9B 体积 2GB、比全精度小 9 倍以上;4090/M5 Pro 上吞吐最高 5 倍、能效 3 倍,iPhone 上 9B 达 34 tokens/s。Apache 2.0 开源,llama.cpp/MLX 可跑;保留率具体数字未公开是选型缺口。
浏览 43 次
2026-10-21 →
模型侧推理改造
一小时写一个星际争霸机器人:StarSkirmish v0.2 测出大模型的长程编程成色
StarSkirmish Bench v0.2:给每个大模型 1 小时用官方 CLI 写星际争霸 C++ 机器人再打人类 bot 循环赛。GPT-6 Astra 居首但对人类顶级 bot 胜率仅 7%;GPT-6.1 Sol 以约十分之一成本拿第二;得分最强预测因子是敢不敢早练强敌。
浏览 47 次
2026-10-21 →
模型侧推理改造
大模型推理优化——KV 缓存与量化的取舍
大模型推理阶段的显存与成本优化。以 27B 模型在 A100 80GB 上的部署为例,对比 KV 缓存与量化两条路线的取舍与精度代价,并给出部署组合建议。
浏览 74 次
2026-09-22 →