同一模型换基准分数不能直接相减:编码基准交叉核对手册
SWE-bench Verified 等编码基准的公开分数怎么对照着读:四家来源并列、测试条件逐行标注,给出同榜/跨榜差距可信度的三条判断规则。
同一模型换基准分数不能直接相减:编码基准交叉核对手册
\n先给结论:2026 年 10 月,单个榜单的分数已经不能用来选型。数字会骗人。这篇手册不产生任何自测数据,只做一件事:把各家已公开发布的分数并列对照,逐行标注测试条件与来源,再给出"哪些差距可信、哪些是噪声"的判断规则。文中 SWE-bench(用真实代码仓库工单考模型修补丁的基准系列)各版本的分数全部来自公开榜单与公开报道。
\n本文全部关键数字与说法的来源对照,按"事实。数值。复核入口。"三句一组的格式逐条列出。
\n条目一:SWE-bench Verified 的构成。它是 500 个真实 GitHub issue(代码工单)修复任务的人工验证子集;官方榜单默认 bash-only(命令行终端模式),统一用 mini-SWE-agent(官方提供的约百行代码最小评测代理)运行。复核入口:swebench.com 首页各榜说明与 verified.html。
\n条目二:OpenAI 的弃用声明。标题《Why we no longer evaluate SWE-bench Verified》;理由含"前沿模型可逐字复现金标准补丁"(数据污染)与测试断言缺陷;改推荐 SWE-bench Pro。复核入口:openai.com 站内检索该标题;二手转述见掘金 2026-02-27 报道。
\n条目三:BenchLM 榜单头部。Claude Opus 5 记 96%,Claude Mythos 5 记 95.5%,Claude Fable 5 记 95%。该表 2026-10-23 更新,共 115 行,性质是厂商自报与二手报告的汇编;后两个分数本次未回查原始行,按"待核实"处理。复核入口:benchlm.ai/benchmarks/swe-bench-verified。
\n条目四:第三方"拥堵分数"。腾讯云社区文章发布于 2026-07-27,称头部拥挤分 93.9%,并引用 METR 的研究称约 50% 通过测试的 PR(pull request,合并请求)不会被维护者合并。复核入口:cloud.tencent.com/developer/article/2716210;METR 原文需在 metr.org 检索报告标题另行核验。
\n条目五:SWE-bench Pro 头部(出处:该文第 04 节横评表)。同一第三方文称 Pro 最高分 69.2%,模型为 Claude Opus 4.8;与 Verified 上同代分数差约 19 个百分点。Pro 另有独立榜单,出自测评机构 Scale(美国数据评测公司)的公开数据集;本次未打开核对,两处口径是否一致待核实。
\n一、同一模型在不同口径下的分数带:同榜差 1 点,跨榜差 19 点
\n把已公开的数字按模型对齐,第一件要看的事是"同一个模型拿到的分数分布在多宽的区间里"。
\n三个来源的分数带按模型逐条列出,每条自含来源。
\nClaude Opus 4.7 在 Verified:BenchLM 行记 87.6%;腾讯云文时间线记约 87.6%;该文未列 Pro。两源同值,可作比对基准。
\nClaude Opus 4.8:Verified 上 BenchLM 记 88.6%;同一来源体系下 Pro 段记 69.2%。跨基准不可直接相减。
\nClaude Opus 5 在 Verified:BenchLM 记 96%;腾讯云文发布于 7 月未收录该文之后的更新。单源,待第二处印证。
\n读法:同一基准内,只有两源同值的数字可作比对基准;跨基准的差距(88.6 对 69.2)不能相减解读,两个榜的题目难度分布完全不同。选型时把 Verified 的分数与 Pro 的分数直接相减?不行。两个榜的题目难度完全不同。
\n二、OpenAI 弃用事件:官方理由与二手转述要分开看
\n目前能查到的记载来自掘金 2026 年 2 月的中文报道(二手转述);BenchLM 榜单页只说明分数来源性质(厂商自报加二手报告汇编),不能证明弃用声明原文存在。原文在 openai.com 站内检索可达,本次抓取未直接打开正文,引用时按"标题已核实、全文待复核"处理。转述里最硬的两条指控是:数据污染(模型能逐字复现补丁原文)与测试断言不严谨(失败案例中相当比例是测试设计问题,不是修不好)。
\n需要注意的地方:腾讯云那篇 2026-07 文章把"验证器错误率 32%"归入 DeepSWE 审计名下,并由此推导出"5 个百分点以内的分差在统计上站不住"。这处 32%(含 DeepSWE 审计归属)目前只在单一来源见到、未获原文,按二手转述处理,引用时必须标注"仅一处记载";METR 那份"约一半通过测试的 PR 不会被合并"的研究同样还没找到原文,只能按二手转述处理。
\n三、判断规则:三条筛子过一遍再决定信不信
\n第一条筛子是测试条件。官方榜单默认 bash-only(同一脚手架 mini-SWE-agent),厂商自报常用自家 agent(工具集与提示词都不同)。同一模型换脚手架可差出十几个百分点,因此看到"A 比 B 高 3 分"时,应先确认两边是否用同一套脚手架(评测用的代理程序与提示词框架)BenchLM 明确把自报和二手混编在一张表里并注明不用于总体排名,这类榜单自带的限制说明要一起读。
\n第二条筛子是饱和带。头部模型全部挤进 85-96% 区间时,榜内名次对采购几乎没有信息量。此时可用的替代是看更难的榜:Pro(最高 69.2%)、Terminal-Bench(真实终端操作)这类分布更宽的评估,差距才有区分度。
\n第三条筛子是"通过"的定义。SWE-bench 的判定标准是既有测试套件全绿;如果 METR 的转述成立(约一半不会被合并),那分数测的是"让测试变绿的能力",不是"写出可维护代码的能力"。这条对采购的影响最直接。测试通过不等于代码可维护。
\n四、给选型动作的落点
\n把上面的规则折成三句可执行的话:同一基准内 5 个百分点以内的差距不作为决策依据,理由是验证器噪声未独立核验前的保守取值;该文给出算式:错误率按 32% 计,500 题、通过率约 87% 时,不确定度 ≈ 0.32 × √(0.87×0.13/500)。按该算式复算结果是 ±0.48 个百分点,原文却写成 ±4.8 个百分点,相差 10 倍。照抄单源数字不复算,就会连带转载错误。本文采用复算值 0.48,并保留"原文写 4.8"的记录供对照。该审计仅此一处记载。自家场景应按同样方法重估;跨榜分数不做横向比较,只比同一基准内的相对位置;对"通过测试"类指标,采购前用买方自己的仓库抽 10 个真实 issue(代码工单)试跑一轮,这比任何榜单都更接近买方要的结果。这一步需要采购方自行投入约半天,这篇手册不代报数字,也没有代做条件。
\n数据来源
\n一手:swebench.com(各榜定义、实例数、bash-only 默认设置);benchlm.ai/benchmarks/swe-bench-verified(115 行分数表,2026-10-23 更新,性质为自报+二手汇编);openai.com(弃用声明原文,站内检索标题可达)。二手:腾讯云开发者社区《Benchmark 通胀,SWE-bench 饱和》(2026-07-27,含拥堵分 93.9%、METR 50%、验证器错误率 32% 三处单源数字);掘金《OpenAI 官宣弃用 SWE-bench Verified》(2026-02-27)。文中 Qwen、Claude、GPT、SWE-bench 等为各自机构商标,仅作指称。
\n