SWE-Together: 상호작용 사용자 세션에서 코딩 에이전트 평가

초록

대부분의 코딩 에이전트 벤치마크는 정적(static)이다. 즉, 에이전트는 처음부터 완전한 작업 설명을 받고 최종 코드만으로 평가된다. 실제 코딩 지원은 대화형(interactive)으로, 사용자가 여러 차례에 걸쳐 목표를 명확히 하고, 제약 조건을 추가하며, 실수를 수정한다. 본 연구에서는 실제 사용자-에이전트 코딩 세션에서 재구성한 다중 턴(multi-turn) 벤치마크인 SWE-Together를 소개한다. 실제 상호작용을 검증 가능하게 만들기 위해, 11,260개의 기록된 세션에서 109개의 저장소 수준 작업(repository-level tasks)을 선별하였으며, 복구 가능한 저장소 상태, 명확한 사용자 목표, 관찰 가능한 결과가 있는 세션을 선택하였다. 이러한 상호작용을 다양한 에이전트에서 재현하기 위해, 원래 사용자의 의도를 유지하고 코딩 에이전트의 진행 상황에 따라 피드백을 제공하는 반응형 LLM 기반 사용자 시뮬레이터를 구축하였다. 에이전트를 협력자로 평가하기 위해, 최종 저장소 정확성(final repository correctness)과 상호작용 중 필요한 교정 피드백 턴(corrective feedback turns)의 수를 모두 측정한다. 최첨단 코딩 에이전트를 대상으로 한 실험 결과, 더 강력한 에이전트는 일반적으로 더 적은 개입이 필요하면서도 더 높은 최종 성공률을 달성하여, 개선된 사용자 경험을 시사한다.

English

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.