Os benchmarks de otimização de desempenho estão medindo confiavelmente os agentes de codificação?

Resumo

Benchmarks de otimização de desempenho em nível de repositório, como GSO, SWE-Perf e SWE-fficiency, avaliam agentes de codificação aplicando patches a repositórios reais e comparando o tempo de execução com linhas de base não otimizadas e patches de referência oficiais. Suas pontuações no leaderboard são cada vez mais usadas como evidência do progresso dos agentes de codificação, mas essas pontuações podem confundir instabilidade do tempo de execução, regras de pontuação específicas do benchmark e quantas tarefas já foram resolvidas por pelo menos uma submissão pública. Auditamos essas questões nos três benchmarks. Primeiro, reproduzimos os patches de referência oficiais para 740 tarefas de otimização de código em quatro tipos comuns de máquinas do Google Cloud. A maioria das tarefas dos benchmarks pode ser reproduzida, mas seus patches de referência satisfazem as regras de validade originais dos benchmarks em todas as reproduções entre máquinas para apenas 39/102 tarefas do GSO, 11/140 do SWE-Perf e 411/498 do SWE-fficiency; o SWE-Perf é especialmente frágil porque muitos patches de referência produzem mudanças no tempo de execução próximas de zero. Segundo, mostramos que as classificações de submissões públicas dependem fortemente da regra de pontuação do benchmark. Entre oito submissões públicas compartilhadas pelo GSO e SWE-fficiency, as classificações oficiais discordam em 9 de 28 comparações aos pares de submissões, e a regra de pontuação do leaderboard do SWE-fficiency atribui às dez piores tarefas pesos de pontuação excessivamente altos de 58,5% a 82,8%. Terceiro, considerando 10 submissões públicas para cada tarefa, descobrimos que pelo menos uma submissão iguala ou supera o patch de referência em 85,3% (384/450) das tarefas reproduzíveis válidas do GSO e SWE-fficiency, e supera o código base não otimizado em 99,8% (449/450). Nosso estudo complementa as pontuações do leaderboard ao identificar tarefas com sinais de desempenho mais confiáveis, quantificar contribuições de pontuação por tarefa e expor as lacunas de desempenho restantes que são ocultadas pelas classificações agregadas.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.