SWE-chat: 実環境における実ユーザーとのコーディングエージェント対話

SWE-chat: Coding Agent Interactions From Real Users in the Wild

April 22, 2026

著者: Joachim Baumann, Vishakh Padmakumar, Xiang Li, John Yang, Diyi Yang, Sanmi Koyejo

cs.AI

要旨

AIコーディングエージェントは大規模に導入が進んでいるものの、実際に人々がどのように利用しているか、またその出力のどれだけが実践的に有用であるかについて、実証的な証拠が不足している。本論文では、オープンソース開発者から実際に収集した初の大規模コーディングエージェントセッションデータセットであるSWE-chatを提示する。現在このデータセットは6,000セッション、63,000以上のユーザープロンプト、355,000以上のエージェントツール呼び出しを含む。SWE-chatは継続的に成長するデータセットであり、収集パイプラインは公開リポジトリからセッションを自動的かつ継続的に発見・処理する。SWE-chatを活用し、実世界でのコーディングエージェントの利用実態と障害モードに関する実証的分析を初めて提供する。コーディングパターンは二極化していることが判明した：全セッションの41%ではエージェントが実質的に全てのコミットコードを生成（「バイブコーディング」）する一方、23%では人間が全てのコードを自身で記述している。急速に能力が向上しているにも関わらず、コーディングエージェントは自然環境では非効率である。エージェントが生成したコードのうちユーザーのコミットに残るのはわずか44%に過ぎず、エージェント記述コードは人間が作成したコードよりも多くのセキュリティ脆弱性を導入する。さらに、全対話ターンの44%において、ユーザーは修正、障害報告、中断を通じてエージェントの出力に対して反発を示している。人間とエージェントのコード帰属情報を伴う完全なインタラクション軌跡を捕捉することで、SWE-chatは精選されたベンチマークを超え、AIエージェントが実際の開発者ワークフローでどのように機能するかに関する証拠に基づく理解に向けた実証的基盤を提供する。

English

AI coding agents are being adopted at scale, yet we lack empirical evidence on how people actually use them and how much of their output is useful in practice. We present SWE-chat, the first large-scale dataset of real coding agent sessions collected from open-source developers in the wild. The dataset currently contains 6,000 sessions, comprising more than 63,000 user prompts and 355,000 agent tool calls. SWE-chat is a living dataset; our collection pipeline automatically and continually discovers and processes sessions from public repositories. Leveraging SWE-chat, we provide an initial empirical characterization of real-world coding agent usage and failure modes. We find that coding patterns are bimodal: in 41% of sessions, agents author virtually all committed code ("vibe coding"), while in 23%, humans write all code themselves. Despite rapidly improving capabilities, coding agents remain inefficient in natural settings. Just 44% of all agent-produced code survives into user commits, and agent-written code introduces more security vulnerabilities than code authored by humans. Furthermore, users push back against agent outputs -- through corrections, failure reports, and interruptions -- in 44% of all turns. By capturing complete interaction traces with human vs. agent code authorship attribution, SWE-chat provides an empirical foundation for moving beyond curated benchmarks towards an evidence-based understanding of how AI agents perform in real developer workflows.