Zur Verwendung von agentenbasiertem Programmieren: Eine empirische Studie zu Pull Requests auf GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

papers.authors: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend in Softwareentwicklungsprozesse integriert. Die Fähigkeit, Code zu generieren und Pull-Requests mit minimalem menschlichen Eingriff einzureichen, durch den Einsatz autonomer KI-Agenten, wird voraussichtlich zu einer Standardpraxis werden. Es ist jedoch wenig darüber bekannt, wie praktisch nützlich diese Pull-Requests sind und inwieweit ihre Beiträge in realen Projekten akzeptiert werden. In diesem Papier untersuchen wir empirisch 567 GitHub-Pull-Requests (PRs), die mit Claude Code, einem agentenbasierten Codierungstool, in 157 verschiedenen Open-Source-Projekten generiert wurden. Unsere Analyse zeigt, dass Entwickler dazu neigen, sich auf Agenten für Aufgaben wie Refactoring, Dokumentation und Tests zu verlassen. Die Ergebnisse deuten darauf hin, dass 83,8 % dieser agentenunterstützten PRs schließlich von den Projektbetreuern akzeptiert und zusammengeführt werden, wobei 54,9 % der zusammengeführten PRs ohne weitere Änderungen integriert werden. Die verbleibenden 45,1 % erfordern zusätzliche Änderungen und profitieren von menschlichen Überarbeitungen, insbesondere bei Fehlerbehebungen, Dokumentation und der Einhaltung projektspezifischer Standards. Diese Erkenntnisse legen nahe, dass agentenunterstützte PRs zwar weitgehend akzeptabel sind, aber dennoch von menschlicher Aufsicht und Verfeinerung profitieren.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.