IM体育官方网站 AI编程参加下半场! 新基准意外补丁, 拷问真实的工程才气

新智元报说念

[新智元导读]AI写代码已从补丁阶段参加全进程工程评估，SWEAtlas初度系统评测代码领路、测试编写与重构等中枢才气。后果骄气，尽管GPT-5.4等模子能完成基础功能，但在代码健康、范围消灭和跨文献合营上仍有明显不及。

当全天下都在用SWE-Bench类基准为编程智能体封神时，ScaleAI抛出了一颗深水炸弹：SWEAtlas。

在这套由资深工程师手写的284说念考题里，前沿模子集体掉档，Pass@1最高仅43.49%，作念三次能全对的比例骤降30~50%。

更扎心的是，模子们写代码修bug的才气一骑绝尘，但在代码领路、测试编写、重构这些专科工程师真简直作念的事情上，险些全员翻车。论文戳穿了一个泼辣真相：现时最强的AI编程智能体，是优秀的补丁工，却仍然是倒霉的工程师。

已往两年，AI写代码的叙事被反复刷新，OpenHands、Agentless、SWE-Bench、SWE-BenchPro、TerminalBench……每一次榜单更新，都伴跟着新一轮AI替代次第员的喧嚣。

但你有莫得念念过一个问题：整个这些基准，险些都在作念归拢件事，修bug和加feature。

而真实天下里的软件工程，远远不啻这两件事。一位工程师真实的往常，是阅读生分代码库、为新功能写测试、对历史代码作念重构、复兴队友的架构问题、debug一个只在坐褥环境复现的启动时非常……这些上游和下贱的才气，险些被整个主流benchmark集体无视。

ScaleAI团队近期发布的SWEAtlas恰是要把这块评测盲区补上。

修bug不等于会工程

论文一开篇就给出了一个敏感的判断：

把软件工程等同于功能诞生，会制造一个要津盲区。专科的软件工程，是珍摄代码健康、驻守将来牵记、领路复杂架构，而这些才气在现存基准中险些都莫得被有用评估。

盘问团队进一步指出，过度专注于功能处分，会让Agent被教练就excellentpatchers（优秀的补丁工），却是poorengineers（倒霉的工程师），能修bug能加功能，但写不出可珍摄的代码、留不住一个仓库的长久健康。

为此，SWEAtlas收受了三个被严重低估、却在任业开荒中无处不在的责任流：

一起284说念任务，由资深工程师手写，取材自18个活跃珍摄的开源仓库。

图1：SWEAtlas一览。左：三大责任流及子类方针任务散播（共284题）；右：三个责任流的真实任务样例。

不啻跑测试

量化工程修养

SWEAtlas与以往基准最要津的互异，在评估样式上。

传统基准用testsuite跑通与否来判定Pass/Fail，实质上仅仅揣测能不可用。而SWEAtlas引入了rubric-basedLLM-as-a-Judge，让LLM按照巨匠编写的结构化打分表，对谜底的工程严谨度逐项打分。

每说念题平均有若干条打分项？谜底让东说念主惊奇：

这些rubric涵盖的是真实的代码评谛视角：测试是否消灭了范围要求？重构后是否清除了旧界说？文档是否同步更新？是否引入了反形态？是否任性了接口？这些问题，传统Pass/Fail测试压根看不见。

更进一步，整个任务都经过寂然巨匠三审，3位巨匠中至少2位以为有用，rubric才会保留。整套数据集、评测剧本、judgeprompt已一起开源。

GPT-5.4摘冠

但全员刚刚合格

盘问团队把现时最强的前沿模子与顶级开源模子一同奉上科场，永别在厂商自家scaffold（CodexCLI、ClaudeCode、GeminiCLI）和极简mini-SWE-Agent两套环境下启动，跑3次取平均。

表1：SWEAtlas各模子详尽通过率。Pass@1为单次平均通过率，Pass³为三次检会一起通过的比例（一致性方针）。

几个相等刺眼的论断：

1.第一档：GPT-5.4与Opus4.7险些并驾都驱。

在nativescaffold下，GPT-5.4（Codex）以43.49%的Pass@1拿下等一，Opus4.7（ClaudeCode）以41.89%紧随自后，两者在统计真谛上险些打平。

2.开源模子仍有权贵差距。

在mini-SWE-Agent这套裸跑环境下，开源最好GLM5拿到24.03%，而前沿模子最高（Opus4.7）能跑到38.94%，15个点的鸿沟依然明晰。KimiK2.5、MinimaxM2.5落在15–19%区间。

3.真实轰动的，是Pass³。

三次都通过的比例，相对单次收获大量下滑30~50%。GPT-5.4的Pass³仅29.2%，Opus4.6跌到22.9%，开源模子大多在个位数。换句话说，现时SOTA模子在作念这些任务时，气运因素依然很大，多跑一次就可能不会作念了。

功能对了，为什么分数照旧不高？

论文最故敬爱的部分，是揭示了功能正确和工程合格之间那说念雄壮的鸿沟。

图2：工程质地明显逾期于功能正确性。上：整个模子通过功能检查（变异测试/牵记测试）的比例都高于通过rubric的比例；下：rubric类目细分，TestComprehensiveness、CodeMaintainability、ArtifactCleanup是前沿与开源拉开差距的要津。

在TestWriting任务上，IM体育(InPlay Matrix)模子们写出的测试套件，通过变异测试（MutationTest）的比例大量高于通过rubric的比例，差距在10–15个点。也就是说，模子能写出看起来能跑、能握bug的测试，但严谨度上仍有明显劣势。

而Refactoring任务的差距更夸张：

要是只看牵记测试是否通过，每个模子的得分都能高达60–80%，看上去都很能打。但一朝拉上rubric打分，分数坐窝被腰斩，这恰是现时满盈型基准的盲点。

翻译过来就是：模子能在保持行径不变这件事上蒙混过关，但真实完成重构的结构性责任（如计帐旧界说、索求模块、修正反形态）大多没作念到位。前沿模子与开源模子的差距，偶合研讨在CodeMaintainability（代码可珍摄性）和ArtifactCleanup（旧居品计帐）两项上。

CodebaseQ&A：高分模子，都在跑代码

图3：CodebaseQ&A任务的失败形态。左：处分率与代码扩充次数/谜底长度的联系，会跑代码的模子更能赢；右：四类失败形态的散播，不同厂商模子各有各的病灶。

团队发现了一个相等故敬爱的有关性：在CodebaseQ&A任务上得分最高的模子，时常领有最高的平均代码扩充次数。

东说念主工审查这些代码调用后他们发现，最强模子不是在静态看代码，而是在真实把诈欺跑起来、发苦求、作念启动本领析。这种践诺型行径形态，跟一个资深工程师debug时的直观惊东说念主地一样。

反之，失败的形态不错拆成四类：信息缺失、谜基础底细虚、无启动时凭证、跑偏场地。GPT系列模子主要败在信息不好意思满（MissingInfo），作念了践诺但没消灭完整个rubric子问题；Claude系列则主要败在零落启动时凭证（46%），明明是启动时问题，却收受只读静态代码。

TestWriting：测试写得多≠测试写得好

图4：TestWriting任务下，模子在Manifest/Mutation/Rubric三类检查上的得胜率，以及测试数目与质地的联系。

另一个反直观的发现来自TestWriting：

写得越多，不一定写得越好。论文不雅察到一个明晰的形态：较弱的模子倾向于堆数目，但这些测试大多只考据函数应该作念什么，险些从意外函数不应该作念什么、什么应该保持不变，以及那些会露馅隐微行径偏差的范围场景。

后果就是：测试套件看起来很丰润，但变异测试一打就漏，一个mutant改了代码，测试照样全绿。

盘问团队指出，越强的模子反而写得越少、越精确，每个测试都对准一个具体的牵记点。这才是专科测试工程师该有的写法。

Refactoring：跨文献重构，前沿模子也会漏掉调用点

图5：重构任务的才气随更正限制衰减。左：按goldpatch的代码行数分桶，整个模子在更正量增大时全线崩溃；右：file-editrecall向前沿模子消灭更多文献，但仍会漏掉要津调用点。

SWEAtlas中的重构任务，goldpatch更正从35行到2073行不等。后果如图5所示：整个模子的处分率，都跟着更正限制增大而权贵下跌。

更精致的分析揭示，前沿模子如实能消灭更高比例的需要修改的文献，但即即是最强的Opus4.7，也会在跨文献的调用点（callsites）上漏掉一部分。换句话说，它们看到了主要的修改进口，却没能把更正一致地传播到通盘调用图。

这意味着：当一次重构需要在多个文献之间作念合营一致的更正时，现时最强模子仍然是不可靠的。

补丁工与工程师

还差一个SWEAtlas

SWEAtlas给出的论断并不无望，前沿模子在这套更严苛的考试上能拿到40%以上的分数，自己照旧是惊东说念主的才气跃迁。

但它也明晰地告诉咱们：能修bug和是工程师，是两件不同的事。

现时的最优模子照旧学会探索代码库、跑通诈欺作念启动本领析、消灭多文献的修改，这些照旧远超18个月前的景色。但在范围要求消灭、可珍摄性把控、跨文献合营修改、旧代码的计帐这些专科工程的软实力上，AI仍有格外长的路要走。

ScaleAI的这项责任，实质上是给通盘行业重新校准了一把尺子。别再只盯着SWE-Bench的issueresolution跑分了，真实的软件工程，远比修bug复杂得多。

值得一提的是，第三方评测机构ArtificialAnalysis近期推出的CodingAgentIndex照旧把SWE-Atlas-QnA与SWE-Bench-Pro-Hard-AA、Terminal-Benchv2一同纳入，手脚好意思满AI编程栈的三大评测之一。即即是现时榜首组合CursorCLI+ClaudeOpus4.7，详尽pass@1也仅有61分，通盘榜单的顶尖系统均集合在40~60分区间，无一打破70分，这从外部视角再次印证了SWEAtlas评测的严苛度。

而下一代的编程智能体要是念念真实接督工程师的责任IM体育官方网站，得先在SWEAtlas上拿到一个像样的分数。