SWE-INTERACT: Reimaginando los benchmarks de SWE como sesiones de codificación a largo plazo impulsadas por el usuario

Resumen

Presentamos SWE-Interact, un nuevo banco de pruebas para evaluar agentes de codificación en tareas multiturno, interactivas e impulsadas por el usuario en el ámbito de la ingeniería de software. Los puntos de referencia frontera existentes suelen proporcionar requisitos completos por adelantado y evaluar a los agentes en la implementación autónoma. En contraste, SWE-Interact sitúa a los agentes en un flujo de trabajo de desarrollo realista: un simulador de usuario cuidadosamente diseñado comienza con instrucciones vagas o incompletas, revela progresivamente los requisitos, inspecciona el espacio de trabajo del agente y proporciona retroalimentación dirigida, revisiones y nuevas restricciones hasta que el objetivo completo de la tarea ha sido transferido. Fundamentado en estudios a gran escala de interacciones reales con agentes de codificación, esta configuración evalúa si los agentes pueden descubrir la intención del usuario, adaptarse a requisitos en evolución y construir sobre su propio trabajo previo. En un conjunto de modelos frontera y de peso abierto, encontramos que un buen rendimiento en tareas SWE de un solo turno no se transfiere de manera fiable a flujos de trabajo multiturno e impulsados por el usuario: los modelos con mejor rendimiento resuelven aproximadamente el 50% de las tareas base de un solo turno, pero solo el 25% de las tareas correspondientes de SWE-Interact. Los modelos más potentes de nuestra evaluación, incluidos Opus 4.8 y GPT 5.5, comienzan con fuerza incluso ante instrucciones iniciales vagas, persisten hasta que todos los requisitos son revelados por el usuario, los integran mejor y escriben código limpio. Sin embargo, aún presentan problemas de codificación excesivamente autónoma, olvido de requisitos y errores técnicos. Los modelos más débiles comienzan mal bajo ambigüedad, se rinden temprano, olvidan o ignoran instrucciones y rehacen su código con más frecuencia. En general, SWE-Interact mide un eje de capacidad ortogonal y del mundo real para el desarrollo de modelos frontera: el descubrimiento interactivo de objetivos y el refinamiento iterativo con un usuario en el circuito.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.