SWE-Touch: 사용자가 코드를 수정할 때 코딩 에이전트 벤치마킹

초록

실제 소프트웨어 개발 환경에서 코딩 에이전트는 사용자가 진행 중인 작업 중 코드를 검토하고 수정할 수 있는 공유 작업 공간에서 작동해야 한다. 그러나 기존의 저장소 수준 벤치마크는 대개 에이전트가 단독으로 작업하는 환경이나 사용자 참여를 메시지로 제한한 환경에서 평가를 수행한다. 이로부터 다음과 같은 질문이 제기된다: 코딩 에이전트는 공유 작업 공간에서의 코드 변경을 어떻게 이해하고 대응하는가? 본 연구에서는 검증된 카운터 편집(Counter-Edit)을 통해 이러한 환경을 스트레스 테스트하는 프레임워크인 SWE-Touch를 제안한다. 카운터 편집은 작업 완료와 충돌하는, 작업 관련 코드에 대한 그럴듯한 수정이다. SWE-Touch는 다수의 수리 궤적(repair trajectory)에서 작업 핵심 영역을 발굴하고, 별도의 사용자 패치 생성기(User Patch Generator)를 통해 편집을 구성한 후, 에이전트가 해당 코드에 도달하면 맥락에 맞는 사용자 메시지와 함께 이를 주입한다. 우리는 SWE-bench Verified에서 9개의 코딩 모델을 평가하고, SWE-Bench Pro 및 DeepSWE의 장기 지평(longer-horizon) 작업에 대한 추가 실험도 수행한다. 카운터 편집은 SWE-bench Verified에서 평균 해결률을 7.7퍼센트 포인트 낮추었으며, 두 장기 지평 벤치마크에서도 성능 저하가 지속적으로 관찰되었다. 궤적 분석에 따르면 이러한 실패는 변화하는 작업 공간에 대한 제한적 인식에서 비롯된다. 에이전트는 저장소를 충분히 재검사하고 수정된 코드를 대상 테스트로 검증하지 않은 채 충돌하는 코드를 유지하거나 이를 대체할 수 있다. 이러한 결과는 강력한 자율 성능이 공유 작업 공간 협업에 필요한 상태 인식과 적응적 행동을 아직 보장하지 않음을 보여주며, 작업 공간 변경 감지, 작업과 충돌하는 편집의 조정, 영향을 받는 동작의 검증을 향후 최적화를 위한 핵심 역량으로 지적한다.

English

Real-world software development requires coding agents to operate in shared workspaces where users may inspect and modify code during an ongoing task, yet existing repository-level benchmarks typically evaluate agents working alone or restrict user participation to messages. This leads us to ask: how do coding agents understand and respond to code changes in a shared workspace? We introduce SWE-Touch, a framework that stress-tests this setting through validated Counter-Edits: plausible edits to task-relevant code that conflict with task completion. SWE-Touch mines task-critical regions from multiple repair trajectories, uses a separate User Patch Generator to construct the edits, and injects them with contextual user messages when agents reach the relevant code. We evaluate nine coding models on SWE-bench Verified, with additional experiments on longer-horizon tasks from SWE-Bench Pro and DeepSWE. Counter-Edit lowers average resolve rate by 7.7 percentage points on SWE-bench Verified, with degradation also persisting on both longer-horizon benchmarks. Trajectory analysis links these failures to limited awareness of the evolving workspace: agents may retain conflicting code or replace it without sufficiently re-inspecting the repository and validating the revised code with targeted tests. These findings show that strong autonomous performance does not yet ensure the state awareness and adaptive behavior needed for shared-workspace collaboration, and point to detecting workspace changes, reconciling conflicting edits with the task, and verifying the affected behavior as key capabilities for future optimization.