Messen Leistungsoptimierungs-Benchmarks zuverlässig Coding-Agenten?

Zusammenfassung

Benchmark-Tests zur Leistungsoptimierung auf Repository-Ebene, wie GSO, SWE-Perf und SWE-fficiency, bewerten Codierungsagenten, indem sie Patches auf reale Repositories anwenden und die Laufzeit mit nicht optimierten Basislinien und offiziellen Referenz-Patches vergleichen. Ihre Leaderboard-Werte werden zunehmend als Beleg für Fortschritte bei Codierungsagenten verwendet, doch diese Werte können Laufzeitinstabilität, benchmarkspezifische Bewertungsregeln und die Tatsache vermischen, dass viele Aufgaben bereits von mindestens einer öffentlichen Einreichung gelöst wurden. Wir untersuchen diese Probleme in den drei Benchmarks. Erstens wiederholen wir die offiziellen Referenz-Patches für 740 Code-Optimierungsaufgaben auf vier gängigen Typen von Google-Cloud-Maschinen. Die meisten Benchmark-Aufgaben können wiederholt werden, aber ihre Referenz-Patches erfüllen bei jeder maschinenübergreifenden Wiederholung nur für 39/102 GSO-Aufgaben, 11/140 SWE-Perf-Aufgaben und 411/498 SWE-fficiency-Aufgaben die ursprünglichen Gültigkeitsregeln des Benchmarks; SWE-Perf ist besonders anfällig, da viele Referenz-Patches nahezu keine Laufzeitänderungen bewirken. Zweitens zeigen wir, dass die Rangfolge öffentlicher Einreichungen stark von der Bewertungsregel des Benchmarks abhängt. Von acht öffentlichen Einreichungen, die GSO und SWE-fficiency gemeinsam nutzen, weichen die offiziellen Rangfolgen bei 9 von 28 paarweisen Einreichungsvergleichen voneinander ab, und die Leaderboard-Bewertungsregel von SWE-fficiency weist den zehn schlechtesten Aufgaben übermäßig hohe Bewertungsgewichte von 58,5 % bis 82,8 % zu. Drittens stellen wir bei der Betrachtung von 10 öffentlichen Einreichungen pro Aufgabe fest, dass mindestens eine Einreichung bei 85,3 % (384/450) der wiederholungsgültigen GSO- und SWE-fficiency-Aufgaben den Referenz-Patch erreicht oder übertrifft und bei 99,8 % (449/450) den nicht optimierten Basiscode übertrifft. Unsere Studie ergänzt die Leaderboard-Werte, indem sie Aufgaben mit zuverlässigeren Leistungssignalen identifiziert, die beitragenden Punkte pro Aufgabe quantifiziert und die verbleibenden Leistungslücken aufzeigt, die durch aggregierte Rangfolgen verdeckt werden.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.