Надежно ли бенчмарки оптимизации производительности измеряют агентов кодирования?

Аннотация

Бенчмарки оптимизации производительности на уровне репозиториев, такие как GSO, SWE-Perf и SWE-fficiency, оценивают кодовые агенты путём применения патчей к реальным репозиториям и сравнения времени выполнения с неоптимизированными базовыми показателями и официальными эталонными патчами. Их баллы в таблицах лидеров всё чаще используются как свидетельство прогресса кодовых агентов, однако эти баллы могут смешивать в себе нестабильность времени выполнения, специфические для бенчмарка правила оценки и то, сколько задач уже решено хотя бы одним публичным решением. Мы анализируем эти проблемы в рамках трёх бенчмарков. Во-первых, мы воспроизводим официальные эталонные патчи для 740 задач оптимизации кода на машинах Google Cloud четырёх распространённых типов. Большинство задач бенчмарков можно воспроизвести, но их эталонные патчи удовлетворяют исходным правилам валидности бенчмарков при каждом межмашинном воспроизведении лишь для 39 из 102 задач GSO, 11 из 140 задач SWE-Perf и 411 из 498 задач SWE-fficiency; SWE-Perf особенно чувствителен, поскольку многие эталонные патчи дают изменения времени выполнения, близкие к нулю. Во-вторых, мы показываем, что рейтинги публичных решений сильно зависят от правил оценки бенчмарка. Среди восьми публичных решений, общих для GSO и SWE-fficiency, официальные рейтинги расходятся в 9 из 28 попарных сравнений решений, а правило оценки таблицы лидеров SWE-fficiency присваивает десяти худшим задачам чрезмерно высокие веса баллов (58.5%–82.8%). В-третьих, анализируя по 10 публичных решений для каждой задачи, мы находим, что хотя бы одно решение достигает или превосходит эталонный патч в 85.3% (384 из 450) задач GSO и SWE-fficiency, валидных при воспроизведении, и превосходит неоптимизированный базовый код в 99.8% (449 из 450). Наше исследование дополняет баллы таблиц лидеров, выявляя задачи с более надёжными показателями производительности, количественно оценивая вклад каждого задания в баллы и раскрывая остающиеся разрывы в производительности, которые скрыты агрегированными рейтингами.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.