SWE-Touch: ユーザーがコードに触れる際のコーディングエージェントのベンチマーキング

要旨

実世界のソフトウェア開発では、コーディングエージェントが共有ワークスペースで動作することが求められる。そこではユーザーが進行中のタスク中にコードを検査・修正する可能性がある。しかし、既存のリポジトリレベルのベンチマークは通常、単独で作業するエージェントを評価するか、ユーザーの関与をメッセージに限定している。このことから、次の問いが生じる：コーディングエージェントは共有ワークスペースにおけるコード変更をどのように理解し、対応するのだろうか？我々はSWE-Touchを提案する。これは検証済みカウンターエディット（Counter-Edits）、すなわちタスク完了と競合するタスク関連コードへの妥当な編集を通じて、この設定をストレステストするフレームワークである。SWE-Touchは複数の修正軌跡からタスク重要領域を抽出し、独立したユーザーパッチ生成器（User Patch Generator）を用いて編集を構築し、エージェントが関連コードに到達した時点で文脈に応じたユーザーメッセージとともにそれらを注入する。我々はSWE-bench Verified上で9つのコーディングモデルを評価し、さらにSWE-Bench ProとDeepSWEのより長期的なタスクでも追加実験を行った。カウンターエディットはSWE-bench Verifiedにおける平均解決率を7.7パーセントポイント低下させ、両方の長期的ベンチマークでも性能低下が持続した。軌跡分析はこれらの失敗を、進化するワークスペースに対する認識の限界に起因するものとして関連付ける：エージェントは競合するコードを保持するか、リポジトリを十分に再検査せず、対象を絞ったテストで改訂コードを検証することなくコードを置き換える可能性がある。これらの発見は、強力な自律的性能が、共有ワークスペースでの協調に必要な状態認識と適応的行動を未だ保証していないことを示しており、ワークスペースの変更の検出、競合する編集とタスクの整合、影響を受ける動作の検証を、今後の最適化のための主要な能力として示す。

English

Real-world software development requires coding agents to operate in shared workspaces where users may inspect and modify code during an ongoing task, yet existing repository-level benchmarks typically evaluate agents working alone or restrict user participation to messages. This leads us to ask: how do coding agents understand and respond to code changes in a shared workspace? We introduce SWE-Touch, a framework that stress-tests this setting through validated Counter-Edits: plausible edits to task-relevant code that conflict with task completion. SWE-Touch mines task-critical regions from multiple repair trajectories, uses a separate User Patch Generator to construct the edits, and injects them with contextual user messages when agents reach the relevant code. We evaluate nine coding models on SWE-bench Verified, with additional experiments on longer-horizon tasks from SWE-Bench Pro and DeepSWE. Counter-Edit lowers average resolve rate by 7.7 percentage points on SWE-bench Verified, with degradation also persisting on both longer-horizon benchmarks. Trajectory analysis links these failures to limited awareness of the evolving workspace: agents may retain conflicting code or replace it without sufficiently re-inspecting the repository and validating the revised code with targeted tests. These findings show that strong autonomous performance does not yet ensure the state awareness and adaptive behavior needed for shared-workspace collaboration, and point to detecting workspace changes, reconciling conflicting edits with the task, and verifying the affected behavior as key capabilities for future optimization.