SWE-Chat: Kodierung von Agenteninteraktionen von echten Nutzern in der Praxis
SWE-chat: Coding Agent Interactions From Real Users in the Wild
April 22, 2026
Autoren: Joachim Baumann, Vishakh Padmakumar, Xiang Li, John Yang, Diyi Yang, Sanmi Koyejo
cs.AI
Zusammenfassung
KI-Code-Agenten werden in großem Umfang eingesetzt, doch es fehlt an empirischen Belegen dafür, wie Menschen sie tatsächlich nutzen und wie viel ihrer Outputs in der Praxis nützlich sind. Wir stellen SWE-chat vor, den ersten umfangreichen Datensatz mit echten Code-Agenten-Sitzungen, die von Open-Source-Entwicklern im realen Einsatz gesammelt wurden. Der Datensatz umfasst derzeit 6.000 Sitzungen mit mehr als 63.000 Nutzeranfragen und 355.000 Agenten-Tool-Aufrufen. SWE-chat ist ein lebendiger Datensatz; unsere Erfassungspipeline entdeckt und verarbeitet automatisch und kontinuierlich Sitzungen aus öffentlichen Repositories. Mithilfe von SWE-chat liefern wir eine erste empirische Charakterisierung der Nutzung und Fehlermodi von Code-Agenten in der Praxis. Wir stellen fest, dass die Codenutzung bimodal verteilt ist: In 41 % der Sitzungen generieren die Agenten nahezu den gesamten committeten Code ("Vibe Coding"), während in 23 % Menschen den gesamten Code selbst schreiben. Trotz rapide steigender Fähigkeiten bleiben Code-Agenten in natürlichen Umgebungen ineffizient. Nur 44 % des gesamten agentenerzeugten Codes überleben in User-Commits, und agentengeschriebener Code führt zu mehr Sicherheitslücken als von Menschen verfasster Code. Darüber hinaus weisen Nutzer in 44 % aller Interaktionen Agenten-Outputs zurück – durch Korrekturen, Fehlermeldungen und Unterbrechungen. Durch die Erfassung vollständiger Interaktionsverläufe mit Zuordnung der Code-Autorenschaft (Mensch vs. Agent) bietet SWE-chat eine empirische Grundlage, um über kuratierte Benchmarks hinaus zu einem evidenzbasierten Verständnis der Leistungsfähigkeit von KI-Agenten in realen Entwickler-Workflows zu gelangen.
English
AI coding agents are being adopted at scale, yet we lack empirical evidence on how people actually use them and how much of their output is useful in practice. We present SWE-chat, the first large-scale dataset of real coding agent sessions collected from open-source developers in the wild. The dataset currently contains 6,000 sessions, comprising more than 63,000 user prompts and 355,000 agent tool calls. SWE-chat is a living dataset; our collection pipeline automatically and continually discovers and processes sessions from public repositories. Leveraging SWE-chat, we provide an initial empirical characterization of real-world coding agent usage and failure modes. We find that coding patterns are bimodal: in 41% of sessions, agents author virtually all committed code ("vibe coding"), while in 23%, humans write all code themselves. Despite rapidly improving capabilities, coding agents remain inefficient in natural settings. Just 44% of all agent-produced code survives into user commits, and agent-written code introduces more security vulnerabilities than code authored by humans. Furthermore, users push back against agent outputs -- through corrections, failure reports, and interruptions -- in 44% of all turns. By capturing complete interaction traces with human vs. agent code authorship attribution, SWE-chat provides an empirical foundation for moving beyond curated benchmarks towards an evidence-based understanding of how AI agents perform in real developer workflows.