¿Están los benchmarks de optimización del rendimiento midiendo de manera fiable a los agentes de codificación?

Resumen

Los benchmarks de optimización de rendimiento a nivel de repositorio, como GSO, SWE-Perf y SWE-fficiency, evalúan agentes de codificación aplicando parches a repositorios reales y comparando el tiempo de ejecución con líneas base no optimizadas y parches de referencia oficiales. Sus puntuaciones en las tablas de clasificación se utilizan cada vez más como evidencia del progreso de los agentes de codificación, pero dichas puntuaciones pueden combinar inestabilidad en los tiempos de ejecución, reglas de puntuación específicas de cada benchmark y cuántas tareas ya han sido resueltas por al menos un envío público. Auditamos estos problemas en los tres benchmarks. Primero, reproducimos los parches de referencia oficiales para 740 tareas de optimización de código en cuatro tipos comunes de máquinas de Google Cloud. La mayoría de las tareas de los benchmarks pueden reproducirse, pero sus parches de referencia cumplen las reglas de validez originales del benchmark en cada reproducción entre máquinas solo para 39/102 tareas de GSO, 11/140 tareas de SWE-Perf y 411/498 tareas de SWE-fficiency; SWE-Perf es especialmente frágil porque muchos parches de referencia producen cambios de tiempo de ejecución cercanos a cero. Segundo, mostramos que las clasificaciones de los envíos públicos dependen en gran medida de la regla de puntuación del benchmark. Entre ocho envíos públicos compartidos por GSO y SWE-fficiency, las clasificaciones oficiales discrepan en 9 de 28 comparaciones por pares de envíos, y la regla de puntuación de la tabla de clasificación de SWE-fficiency asigna a las diez peores tareas pesos de puntuación excesivamente altos, entre el 58.5% y el 82.8%. Tercero, al examinar 10 envíos públicos para cada tarea, encontramos que al menos un envío iguala o supera al parche de referencia en el 85.3% (384/450) de las tareas de GSO y SWE-fficiency válidas en la reproducción, y supera al código base no optimizado en el 99.8% (449/450). Nuestro estudio complementa las puntuaciones de las tablas de clasificación al identificar tareas con señales de rendimiento más fiables, cuantificar las contribuciones de puntuación por tarea y exponer las brechas de rendimiento restantes que quedan ocultas por las clasificaciones agregadas.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.