성능 최적화 벤치마크는 코딩 에이전트를 신뢰할 수 있게 측정하고 있는가?

초록

저장소 수준 성능 최적화 벤치마크(GSO, SWE-Perf, SWE-fficiency 등)는 실제 저장소에 패치를 적용하고 런타임을 최적화되지 않은 기준선 및 공식 참조 패치와 비교하여 코딩 에이전트를 평가한다. 이들의 리더보드 점수는 코딩 에이전트의 진전을 입증하는 증거로 점점 더 많이 활용되고 있지만, 이러한 점수는 런타임 불안정성, 벤치마크 특정 채점 규칙, 그리고 적어도 하나의 공개 제출물에 의해 이미 해결된 작업의 수를 혼동할 수 있다. 우리는 세 벤치마크 전반에 걸쳐 이러한 문제들을 감사한다. 첫째, 우리는 Google Cloud 시스템의 네 가지 공통 유형에서 740개 코드 최적화 작업에 대한 공식 참조 패치를 재실행한다. 대부분의 벤치마크 작업은 재실행 가능하지만, 해당 참조 패치는 모든 교차 시스템 재실행에서 원래 벤치마크 유효성 규칙을 만족하는 경우가 GSO 102개 작업 중 39개, SWE-Perf 140개 작업 중 11개, SWE-fficiency 498개 작업 중 411개에 불과하다. SWE-Perf는 많은 참조 패치가 런타임 변화를 거의 일으키지 않기 때문에 특히 취약하다. 둘째, 우리는 공개 제출물 순위가 벤치마크 채점 규칙에 크게 의존함을 보여준다. GSO와 SWE-fficiency가 공유한 8개의 공개 제출물 중, 공식 순위는 28개 쌍별 제출물 비교 중 9개에서 불일치하며, SWE-fficiency의 리더보드 채점 규칙은 최악의 10개 작업에 58.5%~82.8%의 과도하게 높은 점수 가중치를 할당한다. 셋째, 각 작업에 대한 10개의 공개 제출물을 살펴보면, 재실행이 유효한 GSO 및 SWE-fficiency 작업의 85.3%(384/450)에서 적어도 하나의 제출물이 참조 패치와 일치하거나 이를 능가하며, 최적화되지 않은 기준 코드를 능가하는 경우는 99.8%(449/450)에 달한다. 우리의 연구는 더 신뢰할 수 있는 성능 신호를 가진 작업을 식별하고, 작업별 점수 기여도를 정량화하며, 종합 순위에 숨겨진 남은 성능 격차를 드러냄으로써 리더보드 점수를 보완한다.

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.