エージェンシック・コーディングの活用について：GitHub上のプルリクエストに関する実証研究

要旨

大規模言語モデル（LLM）は、ソフトウェア開発プロセスにますます統合されつつある。自律型AIエージェントを活用して、最小限の人的介入でコードを生成し、プルリクエストを提出する能力は、標準的な実践となることが期待されている。しかし、これらのプルリクエストの実用的な有用性や、実際のプロジェクトにおいてその貢献がどの程度受け入れられているかについては、ほとんど知られていない。本論文では、エージェント型コーディングツールであるClaude Codeを使用して生成された567件のGitHubプルリクエスト（PR）を、157の多様なオープンソースプロジェクトにわたって実証的に研究する。分析の結果、開発者はリファクタリング、ドキュメント作成、テストなどのタスクにエージェントを活用する傾向があることが明らかになった。これらのエージェント支援PRの83.8%は最終的にプロジェクトメンテナーによって承認・マージされ、そのうち54.9%は修正なしで統合されている。残りの45.1%は、特にバグ修正、ドキュメント、プロジェクト固有の標準への準拠において、人間による修正の恩恵を受ける必要がある。これらの知見は、エージェント支援PRが大部分において受け入れられるものである一方、人間による監視と洗練が依然として有益であることを示唆している。

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.

エージェンシック・コーディングの活用について：GitHub上のプルリクエストに関する実証研究

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

要旨

Support