SWE-INTERACT: 사용자 주도 장기 코딩 세션으로 SWE 벤치마크 재상상하기

초록

SWE-Interact를 소개합니다. 이는 다중 턴, 대화형, 사용자 주도 소프트웨어 공학 작업에서 코딩 에이전트를 평가하기 위한 새로운 테스트베드입니다. 기존의 최첨단 SWE 벤치마크는 일반적으로 완전한 요구사항을 사전에 제공하고 자율적 구현에 대해 에이전트를 평가합니다. 반면, SWE-Interact는 에이전트를 현실적인 개발자 워크플로우에 배치합니다. 즉, 신중하게 설계된 사용자 시뮬레이터가 모호하거나 불완전한 지시로 시작하여 점진적으로 요구사항을 공개하고, 에이전트의 작업 공간을 검사하며, 전체 작업 목표가 전달될 때까지 맞춤형 피드백, 수정 및 새로운 제약 조건을 제공합니다. 실제 코딩 에이전트 상호작용에 대한 대규모 연구에 기반한 이 설정은 에이전트가 사용자 의도를 발견하고, 진화하는 요구사항에 적응하며, 기존 작업을 기반으로 구축할 수 있는지 테스트합니다. 최첨단 및 오픈 가중치 모델 제품군에 걸친 평가에서, 단일 턴 SWE 작업에서의 강력한 성능이 다중 턴, 사용자 주도 워크플로우로 안정적으로 전이되지 않음을 발견했습니다. 최고 성능 모델은 단일 턴 기준 작업의 약 50%를 해결하지만, 해당 SWE-Interact 작업의 25%만 해결합니다. 평가에서 가장 강력한 모델인 Opus 4.8과 GPT 5.5는 모호한 초기 지시에도 강력하게 시작하여, 사용자가 모든 요구사항을 표면화할 때까지 지속하고, 이를 더 잘 통합하며 깔끔한 코드를 작성합니다. 그러나 여전히 과도한 에이전트 코딩, 요구사항 망각 및 기술적 오류로 어려움을 겪습니다. 약한 모델은 모호한 상황에서 시작부터 부진하고, 일찍 포기하며, 지시를 잊거나 무시하고 코드를 더 많이 재작업합니다. 전반적으로 SWE-Interact는 최첨단 모델 개발을 위한 직교적이고 실제적인 능력 축, 즉 사용자 루프 내에서의 대화형 목표 발견 및 반복적 개선을 측정합니다.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.