Meten prestatie-optimalisatiebenchmarks betrouwbaar codeeragenten?

Samenvatting

Repository-level prestatie-optimalisatie benchmarks zoals GSO, SWE-Perf en SWE-fficiency evalueren coderingsagenten door patches toe te passen op echte repositories en de runtime te vergelijken met niet-geoptimaliseerde baselines en officiële referentiepatches. De scores op hun leaderboards worden steeds vaker gebruikt als bewijs voor de vooruitgang van coderingsagenten, maar die scores kunnen onrust in runtime, benchmarkspecifieke scoreregels en het feit dat veel taken al door ten minste één publieke inzending zijn opgelost, door elkaar halen. Wij onderzoeken deze problemen in de drie benchmarks. Ten eerste herhalen we de officiële referentiepatches voor 740 code-optimalisatietaken op vier veelvoorkomende typen Google Cloud-machines. De meeste benchmarktaken kunnen worden herhaald, maar hun referentiepatches voldoen aan de oorspronkelijke validatieregels van de benchmark bij elke cross-machine herhaling voor slechts 39/102 GSO-taken, 11/140 SWE-Perf-taken en 411/498 SWE-fficiency-taken; SWE-Perf is bijzonder kwetsbaar omdat veel referentiepatches bijna-nul runtimeveranderingen opleveren. Ten tweede tonen we aan dat de rangschikkingen van publieke inzendingen sterk afhangen van de scoreregel van de benchmark. Van de acht publieke inzendingen die worden gedeeld door GSO en SWE-fficiency, verschillen de officiële rangschikkingen voor 9 van de 28 paarsgewijze inzendingsvergelijkingen, en de scoreregel van het SWE-fficiency leaderboard kent de slechtste tien taken onevenredig hoge scoregewichten toe van 58,5%-82,8%. Ten derde vinden we, bij het bekijken van 10 publieke inzendingen per taak, dat ten minste één inzending overeenkomt met of beter presteert dan de referentiepatch bij 85,3% (384/450) van de herhaalvalide GSO- en SWE-fficiency-taken, en de niet-geoptimaliseerde basiscode verslaat bij 99,8% (449/450). Onze studie vult leaderboardscores aan door taken met betrouwbaardere prestatiesignalen te identificeren, per-taak scorebijdragen te kwantificeren en de resterende prestatiekloven bloot te leggen die verborgen worden door geaggregeerde rangschikkingen.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.