SWE-INTERACT: Reimaginando Benchmarks de SWE como Sessões de Codificação de Longo Horizonte Orientadas pelo Usuário

Resumo

Apresentamos o SWE-Interact, um novo ambiente de teste para avaliar agentes de codificação em tarefas de engenharia de software interativas, conduzidas pelo usuário e que envolvem múltiplas interações. Os benchmarks de SWE de fronteira existentes geralmente fornecem requisitos completos de antemão e avaliam os agentes quanto à implementação autônoma. Em contraste, o SWE-Interact insere os agentes em um fluxo de trabalho realista de desenvolvimento: um simulador de usuário cuidadosamente projetado começa com instruções vagas ou incompletas, revela progressivamente os requisitos, inspeciona o espaço de trabalho do agente e fornece feedback direcionado, revisões e novas restrições até que o objetivo completo da tarefa tenha sido transmitido. Fundamentado em estudos em larga escala de interações reais entre agentes de codificação, essa configuração testa se os agentes conseguem descobrir a intenção do usuário, adaptar-se a requisitos em evolução e construir sobre seu próprio trabalho anterior. Em um conjunto de modelos de fronteira e de peso aberto, constatamos que um bom desempenho em tarefas de SWE de interação única não se transfere de forma confiável para fluxos de trabalho com múltiplas interações conduzidos pelo usuário: os modelos com melhor desempenho resolvem aproximadamente 50% das tarefas de linha de base de interação única, mas apenas 25% das tarefas correspondentes do SWE-Interact. Os modelos mais fortes em nossa avaliação, incluindo Opus 4.8 e GPT 5.5, começam bem mesmo diante de instruções iniciais vagas, persistem até que todos os requisitos sejam revelados pelo usuário, integram-nos melhor e escrevem código limpo. No entanto, ainda sofrem com codificação excessivamente autônoma, esquecimento de requisitos e erros técnicos. Modelos mais fracos começam mal sob ambiguidade, desistem cedo, esquecem ou ignoram instruções e refazem mais seu código. No geral, o SWE-Interact mede um eixo de capacidade ortogonal e do mundo real para o desenvolvimento de modelos de fronteira: descoberta interativa de objetivos e refinamento iterativo com o usuário no loop.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.