SWE-Together: Evaluierung von Code-Agenten in interaktiven Benutzersitzungen

Zusammenfassung

Die meisten Benchmarks für Programmieragenten sind statisch: Ein Agent erhält eine vollständige Aufgabenbeschreibung im Voraus und wird ausschließlich anhand seines endgültigen Codes bewertet. Echte Programmierunterstützung ist interaktiv: Nutzer präzisieren Ziele, fügen Einschränkungen hinzu und korrigieren Fehler über mehrere Interaktionsrunden hinweg. Wir stellen SWE-Together vor, einen mehrschrittigen Benchmark, der auf realen Nutzer-Agent-Programmiersitzungen aufbaut. Um reale Interaktionen überprüfbar zu machen, kuratieren wir 109 Aufgaben auf Repository-Ebene aus 11.260 aufgezeichneten Sitzungen, wobei wir Sitzungen mit wiederherstellbaren Repository-Zuständen, klaren Nutzerzielen und beobachtbaren Ergebnissen auswählen. Um diese Interaktionen über verschiedene Agenten hinweg nachzuspielen, entwickeln wir einen reaktiven LLM-basierten Benutzersimulator, der die ursprünglichen Absichten der Nutzer bewahrt und Rückmeldungen gibt, sobald der Fortschritt des Programmieragenten dies erfordert. Um Agenten als Kollaborateure zu bewerten, messen wir sowohl die Korrektheit des endgültigen Repositorys als auch die Anzahl der erforderlichen korrigierenden Rückmeldungen während der Interaktion. Experimente mit führenden Programmieragenten zeigen, dass leistungsstärkere Agenten im Allgemeinen höhere finale Erfolgsraten erzielen und gleichzeitig weniger Eingriffe benötigen, was auf eine verbesserte Benutzererfahrung hindeutet.

English

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.