SWE-Together : Évaluation des agents de codage dans les sessions utilisateur interactives

Résumé

La plupart des benchmarks d'agents de codage sont statiques : un agent reçoit une description complète de la tâche dès le départ et n'est évalué que sur son code final. L'assistance au codage réelle est interactive, les utilisateurs clarifiant les objectifs, ajoutant des contraintes et corrigeant les erreurs au fil de plusieurs échanges. Nous présentons SWE-Together, un benchmark multi-tours reconstruit à partir de sessions de codage réelles entre utilisateurs et agents. Pour rendre les interactions réelles vérifiables, nous sélectionnons 109 tâches au niveau du dépôt à partir de 11 260 sessions enregistrées, en choisissant des sessions avec des états de dépôt récupérables, des objectifs utilisateur clairs et des résultats observables. Pour rejouer ces interactions sur différents agents, nous construisons un simulateur d'utilisateur réactif basé sur un LLM qui préserve les intentions des utilisateurs originaux et fournit des retours lorsque la progression de l'agent de codage le nécessite. Pour évaluer les agents en tant que collaborateurs, nous mesurons à la fois la correction finale du dépôt et le nombre de tours de retour correctifs nécessaires lors de l'interaction. Les expériences avec des agents de codage de pointe montrent que les agents plus forts obtiennent généralement des taux de succès finaux plus élevés tout en nécessitant moins d'interventions, ce qui suggère une meilleure expérience utilisateur.

English

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.