SWE-Bench ProMax: 大規模多言語コードリファクタリングにおけるエージェントのベンチマーキング

要旨

AIコーディングエージェントがますます複雑で長期的なソフトウェアエンジニアリングタスクを担うようになるにつれ、既存のベンチマークは急速に飽和しつつあり、その評価品質は厳しい精査にさらされている。最近の監査では、SWE-bench Verifiedの未解決インスタンスの約60%に欠陥のあるテストが含まれることが判明している。すなわち、正しい解決策を拒否する過度に狭いテストや、明示されていない要件を検証する過度に広いテストが存在し、さらに最先端モデルは訓練データからゴールドパッチを逐語的に再現できることが示されている。多数のファイルにまたがる協調的かつ動作を保持する変更を必要とするコードリファクタリングは、エージェント能力に対するはるかに困難で現実的な試金石となるが、既存のベンチマークでは十分にカバーされていない。本稿では、7つのプログラミング言語（Python、Java、TypeScript、Go、C、C++、Rust）にわたる実コミットから抽出した170インスタンスから成る、専門家がキュレーションした多言語コードリファクタリングベンチマークであるSWE-Bench ProMaxを紹介する。すべてのインスタンスは、従来のベンチマークで指摘された品質問題に直接対処する厳格な多段階キュレーションを経ている。問題の説明は正確で曖昧さのない仕様を提供するためにゼロから書き直され、テストスイートは過度に狭いテストと過度に広いテストを除去するために手動でレビューされる。複雑性が不十分なタスクやクロスファイルの範囲が限定されたタスクは除外され、その結果、インスタンスあたり平均11.4の変更ファイルと261.6行のコードから成る、既存のベンチマークを大幅に上回る規模の困難なリファクタリングタスクのベンチマークが得られる。 2つのエージェントスキャフォールドを用いた最先端モデルの実験では、最良のモデルでも解決率は41.2%にとどまり、SWE-Bench ProMaxが現在のAIコーディングエージェントにとって有意義で未飽和の課題であることが確認された。本ベンチマークは https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax で公開している。

English

As AI coding agents take on increasingly complex, long-horizon software engineering tasks, existing benchmarks are rapidly saturating and their evaluation quality has come under serious scrutiny: a recent audit found that nearly 60% of unsolved SWE-bench Verified instances contain flawed tests -- either overly narrow tests that reject correct solutions or overly broad tests that check unstated requirements -- and that frontier models can verbatim reproduce gold patches from training data. Code refactoring, which requires coordinated, behavior-preserving changes across many files, offers a substantially harder and more realistic test of agent capability, yet remains underserved by current benchmarks. We introduce SWE-Bench ProMax, an expert-curated, multilingual code refactoring benchmark of 170 instances drawn from real commits across seven programming languages (Python, Java, TypeScript, Go, C, C++, and Rust). Every instance undergoes rigorous, multi-stage curation that directly addresses the quality problems identified in prior benchmarks: issue descriptions are rewritten from scratch to provide precise, unambiguous specifications, and test suites are manually reviewed to remove overly narrow and overly broad tests. Tasks with insufficient complexity or limited cross-file scope are filtered out, yielding a benchmark of challenging, large-scale refactoring tasks that average 11.4 modified files and 261.6 lines of code per instance, substantially exceeding the scale of existing benchmarks. Experiments with frontier models under two agent scaffolds show that the best model achieves only 41.2% resolve rate, confirming that SWE-Bench ProMax presents a meaningful and unsaturated challenge for current AI coding agents. Our benchmark is available at https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax.