SWE-INTERACT: Neugestaltung von SWE-Benchmarks als nutzergesteuerte Langzeit-Programmiersitzungen

Zusammenfassung

Wir stellen SWE-Interact vor, eine neue Testumgebung zur Bewertung von Codierungsagenten bei mehrschrittigen, interaktiven, benutzergesteuerten Softwareentwicklungsaufgaben. Bestehende führende SWE-Benchmarks liefern in der Regel vollständige Anforderungen im Voraus und bewerten Agenten hinsichtlich autonomer Implementierung. Im Gegensatz dazu platziert SWE-Interact Agenten in einem realistischen Entwickler-Workflow: Ein sorgfältig entworfener Benutzersimulator beginnt mit vagen oder unvollständigen Anweisungen, enthüllt schrittweise die Anforderungen, inspiziert den Arbeitsbereich des Agenten und gibt gezieltes Feedback, Überarbeitungen und neue Einschränkungen, bis das vollständige Aufgabenziel übergeben wurde. Gestützt auf groß angelegte Studien realer Interaktionen mit Codierungsagenten testet dieses Setup, ob Agenten die Benutzerabsicht erkennen, sich an sich entwickelnde Anforderungen anpassen und auf ihrer eigenen bisherigen Arbeit aufbauen können. In einer Reihe von führenden und offenen Modellen stellen wir fest, dass starke Leistungen bei einstufigen SWE-Aufgaben nicht zuverlässig auf mehrschrittige, benutzergesteuerte Workflows übertragbar sind: Die leistungsstärksten Modelle lösen etwa 50 % der einstufigen Basisaufgaben, aber nur 25 % der entsprechenden SWE-Interact-Aufgaben. Die stärksten Modelle unserer Evaluierung, darunter Opus 4.8 und GPT 5.5, starten selbst bei vagen Anfangsanweisungen stark, bleiben dran, bis alle Anforderungen vom Benutzer offengelegt sind, integrieren diese besser und schreiben sauberen Code. Dennoch leiden sie unter übermäßigem Agentenverhalten beim Codieren, dem Vergessen von Anforderungen und technischen Fehlern. Schwächere Modelle starten bei Unklarheiten schlecht, geben früh auf, vergessen oder ignorieren Anweisungen und überarbeiten ihren Code häufiger. Insgesamt misst SWE-Interact eine orthogonale, realweltliche Leistungsachse für die Entwicklung von Spitzenmodellen: interaktive Zielentdeckung und iterative Verfeinerung unter Einbeziehung des Benutzers.

English

We introduce SWE-Interact, a new testbed for evaluating coding agents on multi-turn, interactive, user-driven software engineering tasks. Existing frontier SWE benchmarks typically provide complete requirements upfront and evaluate agents on autonomous implementation. In contrast, SWE-Interact places agents in a realistic developer workflow: a carefully designed user simulator starts with vague or incomplete instructions, progressively reveals requirements, inspects the agent's workspace, and provides targeted feedback, revisions, and new constraints until the full task goal has been handed off. Grounded in large-scale studies of real coding-agent interactions, this setup tests whether agents can discover user intent, adapt to evolving requirements, and build on their own prior work. Across a suite of frontier and open-weight models, we find that strong performance on single-turn SWE tasks does not reliably transfer to multi-turn, user-driven workflows: the best-performing models solve roughly 50% of single-turn baseline tasks but only 25% of the corresponding SWE-Interact tasks. The strongest models in our evaluation, including Opus 4.8 and GPT 5.5, start strong even in the face of vague initial instructions, persevere until all the requirements are surfaced by the user, integrate them better and write clean code. However, they still suffer from over-agentic coding, forgetting requirements and technical mistakes. Weaker models start poorly under ambiguity, give up early, forget or ignore instructions and rework their code more. Overall, SWE-Interact measures an orthogonal, real-world capability axis for frontier model development: interactive goal discovery and iterative refinement with a user in the loop.