Les benchmarks d'optimisation des performances mesurent-ils de manière fiable les agents de codage ?

Résumé

Les benchmarks d'optimisation de performance au niveau du dépôt, tels que GSO, SWE-Perf et SWE-fficiency, évaluent les agents de codage en appliquant des correctifs à des dépôts réels et en comparant le temps d'exécution par rapport à des bases de référence non optimisées et à des correctifs de référence officiels. Leurs scores de classement sont de plus en plus utilisés comme preuve des progrès des agents de codage, mais ces scores peuvent confondre l'instabilité du temps d'exécution, les règles de notation spécifiques aux benchmarks, et le nombre de tâches déjà résolues par au moins une soumission publique. Nous auditions ces problèmes à travers les trois benchmarks. Premièrement, nous rejouons les correctifs de référence officiels pour 740 tâches d'optimisation de code sur quatre types courants de machines Google Cloud. La plupart des tâches des benchmarks peuvent être rejouées, mais leurs correctifs de référence satisfont aux règles de validité originales des benchmarks lors de chaque rejeu sur différentes machines pour seulement 39/102 tâches GSO, 11/140 tâches SWE-Perf, et 411/498 tâches SWE-fficiency ; SWE-Perf est particulièrement fragile car de nombreux correctifs de référence produisent des changements de temps d'exécution quasi nuls. Deuxièmement, nous montrons que les classements des soumissions publiques dépendent fortement de la règle de notation du benchmark. Parmi les huit soumissions publiques partagées par GSO et SWE-fficiency, les classements officiels divergent sur 9 des 28 comparaisons par paires de soumissions, et la règle de notation du classement de SWE-fficiency attribue aux dix pires tâches des pondérations de score excessivement élevées, de 58,5 % à 82,8 %. Troisièmement, en examinant 10 soumissions publiques pour chaque tâche, nous constatons qu'au moins une soumission égale ou dépasse le correctif de référence sur 85,3 % (384/450) des tâches GSO et SWE-fficiency valides lors du rejeu, et dépasse le code de base non optimisé sur 99,8 % (449/450). Notre étude complète les scores des classements en identifiant les tâches présentant des signaux de performance plus fiables, en quantifiant les contributions des scores par tâche, et en exposant les écarts de performance restants qui sont masqués par les classements agrégés.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.