性能最適化ベンチマークは、コーディングエージェントを確実に測定しているのか？

要旨

GSO、SWE-Perf、SWE-fficiencyといったリポジトリレベルのパフォーマンス最適化ベンチマークは、実リポジトリにパッチを適用し、その実行時間を最適化前のベースラインや公式リファレンスパッチと比較することで、コーディングエージェントを評価する。これらのベンチマークのリーダーボードスコアは、コーディングエージェントの進歩を示す証拠としてますます用いられているが、これらのスコアは、実行時間の不安定性、ベンチマーク固有のスコアリングルール、そして公開された提出結果のうち少なくとも一つがすでに解いているタスクの数などの要因を混同している可能性がある。我々は、これら3つのベンチマークにわたってこれらの問題を調査する。第一に、Google Cloudマシン4種類に共通する740件のコード最適化タスクについて、公式リファレンスパッチを再実行した。ほとんどのベンチマークタスクは再実行可能であったが、そのリファレンスパッチが、すべてのマシン間再実行において元のベンチマーク有効性ルールを満たしたのは、GSOの39/102タスク、SWE-Perfの11/140タスク、SWE-fficiencyの411/498タスクのみであった。特にSWE-Perfは脆弱であり、多くのリファレンスパッチがほぼゼロに近い実行時間の変化しか生み出さなかった。第二に、公開された提出結果のランキングは、ベンチマークのスコアリングルールに強く依存することを示す。GSOとSWE-fficiencyで共通する8つの公開提出結果において、公式ランキングは28組の提出結果のペアワイズ比較のうち9組で不一致を示し、SWE-fficiencyのリーダーボードのスコアリングルールは、最も悪い10のタスクに対して58.5%から82.8%という過度に高いスコア重みを割り当てている。第三に、各タスクに対して10件の公開提出結果を横断して調べたところ、再実行可能なGSOおよびSWE-fficiencyタスクの85.3%（384/450）において、少なくとも一つの提出結果がリファレンスパッチに匹敵するかそれを上回り、最適化前のベースコードを上回ったのは99.8%（449/450）であった。我々の研究は、より信頼性の高いパフォーマンスシグナルを持つタスクを特定し、タスクごとのスコア貢献度を定量化し、集計ランキングによって隠されている残存するパフォーマンスギャップを明らかにすることにより、リーダーボードスコアを補完するものである。

English

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.