SWE-INTERACT : Réimaginer les benchmarks SWE en tant que sessions de codage à long horizon pilotées par l’utilisateur

Résumé

Nous présentons SWE-Interact, un nouveau banc d'essai pour évaluer les agents de codage sur des tâches interactives multi-tours et pilotées par l'utilisateur en génie logiciel. Les bancs d'essai frontières existants fournissent généralement des spécifications complètes dès le départ et évaluent les agents sur une implémentation autonome. En revanche, SWE-Interact place les agents dans un flux de travail réaliste de développeur : un simulateur d'utilisateur soigneusement conçu commence par des instructions vagues ou incomplètes, révèle progressivement les exigences, inspecte l'espace de travail de l'agent, et fournit des retours ciblés, des révisions et de nouvelles contraintes jusqu'à ce que l'objectif complet de la tâche ait été transmis. Fondé sur des études à grande échelle d'interactions réelles avec des agents de codage, ce dispositif teste la capacité des agents à découvrir l'intention de l'utilisateur, à s'adapter à des exigences évolutives et à s'appuyer sur leurs propres travaux antérieurs. Sur un ensemble de modèles frontières et à poids ouverts, nous constatons que de bonnes performances sur des tâches de génie logiciel à tour unique ne se transfèrent pas de manière fiable à des flux de travail multi-tours et pilotés par l'utilisateur : les meilleurs modèles résolvent environ 50 % des tâches de base à tour unique, mais seulement 25 % des tâches correspondantes de SWE-Interact. Les modèles les plus forts de notre évaluation, notamment Opus 4.8 et GPT 5.5, démarrent bien même face à des instructions initiales vagues, persévèrent jusqu'à ce que toutes les exigences soient révélées par l'utilisateur, les intègrent mieux et écrivent un code propre. Cependant, ils souffrent encore d'un codage trop agentif, d'oubli d'exigences et d'erreurs techniques. Les modèles plus faibles commencent mal face à l'ambiguïté, abandonnent tôt, oublient ou ignorent les instructions et retravaillent davantage leur code. Dans l'ensemble, SWE-Interact mesure un axe de capacité orthogonal et réel pour le développement de modèles frontières : la découverte interactive d'objectifs et le raffinement itératif avec un utilisateur dans la boucle.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.