SWE-chat: Interações de Agentes de Codificação com Usuários Reais em Ambiente Natural
SWE-chat: Coding Agent Interactions From Real Users in the Wild
April 22, 2026
Autores: Joachim Baumann, Vishakh Padmakumar, Xiang Li, John Yang, Diyi Yang, Sanmi Koyejo
cs.AI
Resumo
Os agentes de IA para codificação estão sendo adotados em larga escala, mas ainda carecemos de evidências empíricas sobre como as pessoas realmente os utilizam e qual a utilidade prática de sua produção. Apresentamos o SWE-chat, o primeiro conjunto de dados em larga escala de sessões reais de agentes de codificação, coletado de desenvolvedores de código aberto em seu ambiente natural. O conjunto de dados contém atualmente 6.000 sessões, compreendendo mais de 63.000 prompts de usuários e 355.000 chamadas de ferramentas dos agentes. O SWE-chat é um conjunto de dados dinâmico; nosso pipeline de coleta descobre e processa automaticamente e continuamente sessões de repositórios públicos. Aproveitando o SWE-chat, fornecemos uma caracterização empírica inicial do uso de agentes de codificação no mundo real e de seus modos de falha. Descobrimos que os padrões de codificação são bimodais: em 41% das sessões, os agentes escrevem praticamente todo o código commitado ("codificação por vibração"), enquanto em 23%, os humanos escrevem todo o código sozinhos. Apesar das capacidades em rápida melhoria, os agentes de codificação permanecem ineficientes em ambientes naturais. Apenas 44% de todo o código produzido pelo agente sobrevive até os commits do usuário, e o código escrito pelo agente introduz mais vulnerabilidades de segurança do que o código escrito por humanos. Além disso, os usuários rejeitam as saídas dos agentes — por meio de correções, relatos de falha e interrupções — em 44% de todas as interações. Ao capturar traços completos de interação com atribuição de autoria de código humano versus do agente, o SWE-chat fornece uma base empírica para ir além de benchmarks curados em direção a uma compreensão baseada em evidências de como os agentes de IA se desempenham nos fluxos de trabalho reais de desenvolvedores.
English
AI coding agents are being adopted at scale, yet we lack empirical evidence on how people actually use them and how much of their output is useful in practice. We present SWE-chat, the first large-scale dataset of real coding agent sessions collected from open-source developers in the wild. The dataset currently contains 6,000 sessions, comprising more than 63,000 user prompts and 355,000 agent tool calls. SWE-chat is a living dataset; our collection pipeline automatically and continually discovers and processes sessions from public repositories. Leveraging SWE-chat, we provide an initial empirical characterization of real-world coding agent usage and failure modes. We find that coding patterns are bimodal: in 41% of sessions, agents author virtually all committed code ("vibe coding"), while in 23%, humans write all code themselves. Despite rapidly improving capabilities, coding agents remain inefficient in natural settings. Just 44% of all agent-produced code survives into user commits, and agent-written code introduces more security vulnerabilities than code authored by humans. Furthermore, users push back against agent outputs -- through corrections, failure reports, and interruptions -- in 44% of all turns. By capturing complete interaction traces with human vs. agent code authorship attribution, SWE-chat provides an empirical foundation for moving beyond curated benchmarks towards an evidence-based understanding of how AI agents perform in real developer workflows.