自律エージェントの実環境における貢献の調査：活動パターンとコード変更の経時的分析

Investigating Autonomous Agent Contributions in the Wild: Activity Patterns and Code Change over Time

April 1, 2026

著者: Razvan Mihai Popescu, David Gros, Andrei Botocan, Rahul Pandita, Prem Devanbu, Maliheh Izadi

cs.AI

要旨

コード向け大規模言語モデルの台頭は、ソフトウェア開発の形を変えつつある。ブランチの作成、プルリクエストのオープン、コードレビューの実施を自律的に行うコーディングエージェントが、現実のプロジェクトに積極的に貢献するようになった。彼らの役割の拡大は、AIによる貢献と、それがコード品質、チームダイナミクス、ソフトウェアの保守性に与える影響を調査する、独特かつ時宜を得た機会を提供する。本研究では、約11万件のオープンソースのプルリクエストからなる新規データセットを構築した。これには関連するコミット、コメント、レビュー、イシュー、ファイル変更が含まれ、総計数百万行のソースコードを網羅している。我々はOpenAI Codex、Claude Code、GitHub Copilot、Google Jules、Devinという5つの主要なコーディングエージェントを比較し、マージ頻度、編集ファイルタイプ、コメントやレビューといった開発者間のインタラクションシグナルなど、様々な開発側面におけるそれらの利用実態の違いを検証する。さらに、コードの作成とレビューは、より大きなソフトウェアエンジニアリングプロセスの一部に過ぎず、生成されたコードは時間の経過とともに保守され、更新され続けなければならない点を強調する。そこで我々は、エージェント生成コードと人間作成コードの生存率と変更率について、いくつかの長期的な推定値を提示する。最終的に、我々の分析結果は、オープンソースプロジェクトにおけるエージェントの活動が活発化している一方で、その貢献は人間のコードと比較して時間の経過とともにより多くの変更を伴う傾向があることを示唆している。

English

The rise of large language models for code has reshaped software development. Autonomous coding agents, able to create branches, open pull requests, and perform code reviews, now actively contribute to real-world projects. Their growing role offers a unique and timely opportunity to investigate AI-driven contributions and their effects on code quality, team dynamics, and software maintainability. In this work, we construct a novel dataset of approximately 110,000 open-source pull requests, including associated commits, comments, reviews, issues, and file changes, collectively representing millions of lines of source code. We compare five popular coding agents, including OpenAI Codex, Claude Code, GitHub Copilot, Google Jules, and Devin, examining how their usage differs in various development aspects such as merge frequency, edited file types, and developer interaction signals, including comments and reviews. Furthermore, we emphasize that code authoring and review are only a small part of the larger software engineering process, as the resulting code must also be maintained and updated over time. Hence, we offer several longitudinal estimates of survival and churn rates for agent-generated versus human-authored code. Ultimately, our findings indicate an increasing agent activity in open-source projects, although their contributions are associated with more churn over time compared to human-authored code.