SWE-INTERACT: Heruitvinden van SWE-benchmarks als gebruikersgestuurde lange-termijn codeersessies

Samenvatting

Wij introduceren SWE-Interact, een nieuwe testomgeving voor het evalueren van codeeragenten op meerstaps, interactieve, gebruikergestuurde software-engineeringtaken. Bestaande geavanceerde SWE-benchmarks bieden doorgaans volledige vereisten vooraf en evalueren agenten op autonome implementatie. Daarentegen plaatst SWE-Interact agenten in een realistische ontwikkelaarswerkstroom: een zorgvuldig ontworpen gebruikersimulator begint met vage of onvolledige instructies, onthult geleidelijk vereisten, inspecteert de werkruimte van de agent en biedt gerichte feedback, herzieningen en nieuwe beperkingen totdat het volledige taakdoel is overgedragen. Deze opzet, gebaseerd op grootschalige studies van echte codeeragentinteracties, test of agenten gebruikersintentie kunnen ontdekken, kunnen inspelen op evoluerende vereisten en kunnen voortbouwen op hun eigen eerdere werk. Uit een reeks geavanceerde en open-weight modellen blijkt dat sterke prestaties op enkelstaps SWE-taken niet betrouwbaar overdraagbaar zijn naar meerstaps, gebruikergestuurde werkstromen: de best presterende modellen lossen ongeveer 50% van de enkelstaps basistaken op, maar slechts 25% van de overeenkomstige SWE-Interact-taken. De sterkste modellen in onze evaluatie, waaronder Opus 4.8 en GPT 5.5, starten sterk, zelfs bij vage initiële instructies, volharden totdat alle vereisten door de gebruiker naar voren zijn gebracht, integreren deze beter en schrijven schone code. Ze hebben echter nog steeds te lijden onder overactief coderen, het vergeten van vereisten en technische fouten. Zwakkere modellen starten slecht onder ambiguïteit, geven vroeg op, vergeten of negeren instructies en herwerken hun code vaker. Al met al meet SWE-Interact een orthogonale, realistische capaciteit-as voor de ontwikkeling van geavanceerde modellen: interactieve doelenontdekking en iteratieve verfijning met een gebruiker in de lus.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.