SWE Refactor Bench：コーディングエージェントは長期的なリポジトリ全体のスタック移行を完了できるか？

要旨

現代のソフトウェアシステムは、長年にわたる開発を通じて技術的負債を蓄積するため、移行にはコストがかかり、その多くを手作業に依存している。コーディングエージェントがバグ修正においてますます高い能力を発揮するようになるにつれ、そのような移行を自律的に実行できるのだろうか。既存のベンチマークは、移行が実際に発生したかではなく行動的な正しさのみを評価するため、この問いに答えることはできない。この結果、エージェントはテストをパスさせるために元の実装をそのままコピーするという安易な回避策に頼ることができる。我々はこれをブラインドネス（Blindness）と呼ぶ。この問題に対処するため、我々は4種類の技術的負債を対象とする20件のリポジトリ全体の移行タスクからなるベンチマーク「SWE Refactor Bench」を提案する。3段階の評価プロトコルにより、移行の完全性と行動的正しさの両方を測定する。(1) 移行監査（Migration Audit）は、移行が実行されたかを検証する。(2) 行動テスト（Behavioural Tests）は、固定されたテストスイートを用いて正しさを測定する。(3) エージェント型検証（Agentic Verification）は、6つの独立したコーディングエージェントを用いて、隠れた行動の差異を検出するための標的型テストを生成する。8つの最先端モデルと26のモデル・努力量構成による520回の実行のうち、3段階すべてを通過したのは520回中わずか28回（5.4%）であり、20タスク中13タスクでは受理された解が得られなかった。最良のモデル（claude-opus-5）でも47.0/100点にとどまった。移行の完全性と行動的正しさは異なる能力である。一部の実行は移行をスキップして行動を維持し、移行監査で不合格となる。一方、大半の実行は移行を試みて行動を壊し、行動テストで不合格となる。エージェントは完全な移行を達成できない。移行監査を通過した340回の実行のうち、58%が固定チェックの99%に到達する一方、100%に到達したのはわずか26%である。エージェントの能力は移行カテゴリによって異なり、ビルドツールチェーン書き換えでは31.4点を獲得する一方、言語書き換えではわずか5.6点にとどまる。これらの知見により、SWE Refactor Benchは、信頼性の高いリポジトリ全体の移行を実現するコーディングエージェントを開発するための厳密なテストベッドとして位置づけられる。

English

Modern software systems accumulate technical debt over decades of development, which makes migration expensive and largely manual. As coding agents become increasingly capable at bug fixing, can they autonomously perform such migrations? Existing benchmarks cannot answer this question because they evaluate only behavioural correctness, not whether the migration actually occurred. This leads an easy hack: agents copy the original implementation to make tests pass. We call this Blindness. To address this problem, we introduce SWE Refactor Bench, a benchmark comprising 20 whole-repository migrations, covering 4 kinds of technical debt. A three-stage evaluation protocol measures both migration completeness and behavioural correctness. (1) Migration Audit verifies that the migration occurred. (2) Behavioural Tests measure correctness with a fixed test suite. (3) Agentic Verification uses 6 independent coding agents to generate targeted tests for hidden behavioural differences. Across 520 runs from 8 frontier models and 26 model-effort configurations, only 28 of 520 runs (5.4%) pass all three stages, 13 of the 20 tasks receive no accepted solution, and the best model (claude-opus-5) scores 47.0/100. Migration completeness and behavioural correctness are distinct abilities: a few runs preserve behaviour by skipping the migration and are stopped at Migration Audit; most attempt it and break behaviour, and are stopped at Behavioural Tests. Agents cannot deliver a perfect migration: among the 340 runs that pass Migration Audit, 58% reach 99% of the fixed checks, yet only 26% reach 100%. Agent capability differs across migration categories: agents score 31.4 on build toolchain rewrites but only 5.6 on language rewrites. Together, these findings position SWE Refactor Bench as a rigorous testbed for developing coding agents for reliable whole-repository migrations.