SWE-INTERACT: Переосмысление SWE-бенчмарков как управляемых пользователями длительных сессий программирования

Аннотация

Мы представляем SWE-Interact — новый тестовый полигон для оценки кодирующих агентов на многошаговых, интерактивных, управляемых пользователем задачах программной инженерии. Существующие передовые SWE-бенчмарки, как правило, предоставляют полные требования заранее и оценивают агентов по автономной реализации. В отличие от этого, SWE-Interact помещает агентов в реалистичный рабочий процесс разработчика: тщательно спроектированный симулятор пользователя начинает с нечетких или неполных инструкций, постепенно раскрывает требования, проверяет рабочее пространство агента и предоставляет целевую обратную связь, уточнения и новые ограничения до тех пор, пока полная цель задачи не будет передана. Основанный на крупномасштабных исследованиях реальных взаимодействий кодирующих агентов, этот подход проверяет, могут ли агенты выявлять намерения пользователя, адаптироваться к изменяющимся требованиям и опираться на свою предыдущую работу. На наборе передовых моделей и моделей с открытыми весами мы обнаруживаем, что высокая производительность на одношаговых SWE-задачах надежно не переносится на многошаговые, управляемые пользователем рабочие процессы: самые эффективные модели решают примерно 50% одношаговых базовых задач, но только 25% соответствующих задач SWE-Interact. Сильнейшие модели в нашей оценке, включая Opus 4.8 и GPT 5.5, начинают уверенно даже при нечетких начальных инструкциях, проявляют настойчивость, пока все требования не будут раскрыты пользователем, лучше интегрируют их и пишут чистый код. Однако они все еще страдают от излишне автономного кодирования, забывания требований и технических ошибок. Более слабые модели начинают плохо в условиях неопределенности, рано сдаются, забывают или игнорируют инструкции и чаще переписывают свой код. В целом, SWE-Interact измеряет ортогональную ось реальных возможностей для разработки передовых моделей: интерактивное выявление целей и итеративное уточнение с участием пользователя в цикле.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.