首页 /文章 /一小时能写出多强的星际争霸机器人?大模型"写代码打比赛"基准出炉

一小时能写出多强的星际争霸机器人?大模型"写代码打比赛"基准出炉

评测规则很简单:给每个大模型 1 小时,从零写一个星际争霸机器人,然后拿去跟人类写的竞技级机器人打,看胜率。这就是 StarSkirmish Bench v0.2。规则不新,狠在对手是真人写的竞技级机器人。

StarSkirmish Bench星际争霸机器人代码生成基准GPT-5.4 Sol第一方 CLI2026Q4
分类:大模型专题 发布于 2026-10-18 43 次浏览

一小时能写出多强的星际争霸机器人?大模型"写代码打比赛"基准出炉

导语

评测规则很简单:给每个大模型 1 小时,从零写一个星际争霸机器人,然后拿去跟人类写的竞技级机器人打,看胜率。这就是 StarSkirmish Bench v0.2。规则不新,狠在对手是真人写的竞技级机器人。

参赛名单覆盖 OpenAI、Anthropic、Google、Meta 的旗舰模型。各自跑在自家实验室的第一方 CLI 环境里,每个模型跑 5 次取平均值,减少偶然性。

结果分三层。GPT-6 Astra 得分 57,排第一,明显领先。第二名是 GPT-6.1 Sol,46 分,而它的单次运行成本只有 Astra 的十分之一出头。第三名往后挤得很紧:Gemini 4 Argon、Claude Opus 5.5、Claude Fable 5.1 都在 37 到 39 之间,基本打平。

冷水也在这儿。换到 Stardust、PurpleWave、BananaBrain 这三个人类最强机器人面前,第一名的 GPT-6 Astra 只赢 7%。Sol 是 4%,再往后是 2%,甚至不到 1%。

对从业者的影响

  • "代码生成能力"多了个新测法:不是 LeetCode 刷题,而是"1 小时内写出一套能在对抗环境里跑的系统"。长程、多约束、要真跑起来。这种评测比单点 benchmark 更接近真实工程,选型时值得当参考项。
  • 成本维度进了基准表:Sol 靠十分之一的成本拿到第二。这说明"够用加便宜"的组合在工程里未必输给"最强"。选型只看跑分?会选错。
  • 竞技级还差得远:7% 的胜率意味着,旗舰模型写的机器人在真实对抗条件下远不如人类手写。差得远。复杂系统上,人类的工程经验仍是硬门槛。

一个容易被忽略的条目

这一版换上了 Google、Meta 的新旗舰。名次如何?Gemini 4 Argon 排第 3,Muse Wonder Full 排第 7。

上一版用的是谁?Gemini 3.8 Flash 和 Muse Spark 1.3。

Argon 的做法很特别:它倾向用一次性生成的方式写机器人,五次运行里的构建次数和代码版本数最少。这算聪明还是取巧?样本太少,还判断不了。

配套素材

CodexBar:菜单栏监控 AI 编码配额 —— 1 小时限时生成加多轮对战会持续吃配额,这类工具能在菜单栏盯住各家模型的用量。


来源:StarSkirmish Bench v0.2,2026-10-16。原文见 https://solo8.cn/article/9192

关键词 StarSkirmish Bench星际争霸机器人代码生成基准GPT-5.4 Sol第一方 CLI2026Q4 000086