首页 /文章 /一小时写一个星际争霸机器人:StarSkirmish v0.2 测出大模型的长程编程成色

一小时写一个星际争霸机器人:StarSkirmish v0.2 测出大模型的长程编程成色

StarSkirmish Bench v0.2:给每个大模型 1 小时用官方 CLI 写星际争霸 C++ 机器人再打人类 bot 循环赛。GPT-6 Astra 居首但对人类顶级 bot 胜率仅 7%;GPT-6.1 Sol 以约十分之一成本拿第二;得分最强预测因子是敢不敢早练强敌。

StarCraftIIBWAPI编程基准GPT-6Astra长程编码评测2026Q4
分类:大模型专题 › 模型侧推理改造 发布于 2026-10-21 44 次浏览

说明

StarSkirmish Bench v0.2 更新了评测结果:给每个大模型 1 小时,用官方 CLI 从零写一个《星际争霸:母巢之战》的 Protoss 机器人(C++/BWAPI),再去跟人类写的竞技机器人打循环赛。GPT-6 Astra 第一,GPT-6.1 Sol 第二且性价比独一档,最强模型对顶级人类机器人胜率只有 7%。这篇拆它的评测设计、结果和与主流榜单的脱钩现象,并评点这套方法对从业者的参考价值。

本文重点覆盖四块内容:

  • v0.2 的评测设定:1 小时预算、官方 CLI 环境、固定对手名单与纯胜率计分口径。
  • 头部结果读法:GPT-6 Astra 居首但未饱和(对人类顶级 bot 胜率仅 7%)、GPT-6.1 Sol 的性价比象限。
  • 行为分析结论:得分与"敢不敢早练强敌"强相关,以及同模型跨 run 的方差幅度。
  • 与主流榜单的相关性数据:脱离 Intelligence Index 与 Terminal-Bench、仍贴合 Vals IOI 与 WeirdML 的脱钩现象及解读。

一 评测怎么跑:一小时、真实对战、固定名单

1.1 任务设定

每个模型从只会采矿的骨架机器人起步,拿到三个演示机器人的源码和两个标准库(战斗模拟器 FAP、地图分析器 BWEM),要在 1 小时内写出能打比赛的 Protoss 机器人。对局是 Protoss 内战,三张天梯地图(Heartbreak Ridge、Benzene、Destination),一方建筑全毁即负;打到 60 分钟上限(86,400 帧)按 BASIL 天梯规则以击杀+拆迁分定胜负。

约束设计里有两处很讲究:

  • 没有提交按钮:一小时到点,harness 直接收走 bot 文件夹里的当前状态,所以模型必须让机器人全程保持可编译,最后时刻改崩了就没有成绩。
  • 练习对手分层:D 级是三个演示机器人,C/B 级各三个中游人类机器人,A 级 BananaBrain 和 Locutus,S 级 Stardust 和 PurpleWave。模型怎么分配这一小时的练习对象,本身就是被测变量。

1.2 v0.2 的两个口径变化

相对 v0.1,v0.2 改了两处关键设置:

维度v0.1v0.2
运行环境统一的第三方 harness(Inspect ReAct deepagent)各家官方 CLI:Claude Code 2.1.296、Codex 0.162.1、Antigravity CLI 1.3.5、Muse Code 1.4.7
推理档位全部 high全部 max(Gemini 4 Argon 只支持到 high)
计分Elo纯胜率(0~100,5 个机器人对固定名单的平均胜场率)

改用官方 CLI 是为了测"厂商调教后的真实形态":各厂商的上下文压缩策略、系统提示都按其自己的产品配置(各 harness 约 250k token 触发压缩;Codex 给 GPT 系列默认 272k 窗口、填满 90% 时压缩)。web search/fetch 全部关闭,模型没有互联网。

改纯胜率加固定名单的好处是可跨代对比:每个 bot 打的是同一批人类对手(10 个竞技级人类机器人+3 个演示 bot,每对三图各 6 局、新种子),成绩不随参赛模型集合漂移,新模型上榜不用重跑全场。

二 结果读法:三个信号

2.1 头部排序与"未饱和"

GPT-6 Astra 第一,明显领先第二的 GPT-6.1 Sol;Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1 咬在 37~39 分区间,实际打平。新上榜的两家旗舰里,Gemini 4 Argon 第 3,Meta 的 Muse Wonder Full 只排第 7。

饱和度的信号反过来看更清楚:对阵 Stardust、PurpleWave、BananaBrain 这三个人类顶级机器人,最强的 GPT-6 Astra 胜率只有 7%。一小时推理预算是限制因素之一,但比赛用的还是对人类机器人偏宽松的三张 2 人图,真实人类 bot 锦标赛条件更难。这类"长程 agentic 任务离天花板还远"的评测目前比多数编码榜单稀缺。

2.2 性价比象限:GPT-6.1 Sol 独一份

分数对单次一小时运行的 API 成本作图(成本取对数轴),GPT-6.1 Sol 是唯一落在最优象限的模型:分数第二,单次成本只有 GPT-6 Astra 的十分之一多一点。对做 agent 工程的人来说,这张图比排名本身更有决策价值:同一个任务先试便宜档,未必损失多少。

2.3 行为分析:练得早、练得狠就赢

每个 run 的 agent trace 记录了这一小时怎么花。与得分相关性最强的单一因素,是中位 run 跟名单上最强 7 个机器人练习的局数。GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 在一小时前段就去打强敌,哪怕自己的 bot 还打不过;Muse Wonder Full、Claude Haiku 5.5、GPT-6 Luna 则很少或不碰强敌。Claude Fable 5.1 是离群点:几乎只跟弱机器人练,仍拿 37 分。

同一模型 5 次 run 之间也有波动:Gemini 4 Argon 最好和最差差 18 分,GPT-6 Astra 差 9 分,Claude Opus 5.5 差 8 分。旗舰之间的差距比这个方差大不了多少——单次运行下结论容易高估或低估一个模型。

三 与主流榜单脱钩:这篇最扎眼的发现

StarSkirmish 不再跟着被广泛报道的评测走:与 Artificial Analysis Intelligence Index 的 Spearman 相关系数只有 0.26,本榜第一的 GPT-6 Astra 在那个指数上只并列第 4。v0.1 时期它跟 Terminal-Bench 4.0 贴合紧密,v0.2 也漂开了,Claude Sonnet 5.5 和 Muse Wonder Full 在 Terminal-Bench 名列前茅,在这里靠后。

仍然相关的两类:Vals IOI(C++ 解奥赛编程题)和 WeirdML v3(非常规机器学习编码任务)。

原文给出一种解读:被重度报道的评测已经变成调优目标,模型围着它们练;而"长程、难、没被针对练过"的编码测试之间仍然互相印证。这与工程选型时的常见体感一致:跑分接近不等于干活能力接近,差异常常暴露在需要持续几十分钟、带真实反馈回路(feedback loop)的任务里。

四 对从业者的参考价值

4.1 这套设计可以搬到自己的场景

StarSkirmish 的方法学比星际争霸本身更有用:固定对手名单保证跨代可比、无提交按钮逼模型保持可交付状态、trace 分析把"怎么花时间"变成一等公民指标。企业内部做 agent 编码评测,可以照搬这套做法:把自己代码库里的真实维护任务当"名单",按小时给预算,看最终 diff 能不能编译过测试。

4.2 "练强敌"结论对 agent 提示词有直接含义

得分最强预测因子是敢不敢 early 打强对手。映射到日常 agent 编码工作流:让模型先跑最严格的测试套件、先碰最难的模块,比让它先刷简单用例的收益高。评测数据里那几个"只跟弱敌练"的模型排名都靠后,行为模式与成绩的相关性在 9 个模型的样本上方向一致(原文用线性拟合展示)。

4.3 单次 run 方差不容忽视

18 分极差意味着任何"跑一次定优劣"的对比都不可靠。选型测试至少跑 5 次取均值、看标准差(σ,衡量成绩波动幅度的指标),这是本评测给出的最低样本量参考。

引用

  • StarSkirmish Bench v0.2 原文(Kai McPheeters,2026-10-15):https://starskirmish.com/bench/v0-2/
  • BWAPI 4.4.0:https://github.com/bwapi/bwapi
  • OpenBW:https://github.com/OpenBW/openbw
  • BASIL 天梯排名规则:https://www.basil-ladder.net/ranking.html
关键词 StarCraftIIBWAPI编程基准GPT-6Astra长程编码评测2026Q4 000090