Over het gebruik van agentische codering: Een empirische studie van pull requests op GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

Auteurs: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

Samenvatting

Grote taalmodellen (LLMs) worden steeds vaker geïntegreerd in softwareontwikkelingsprocessen. De mogelijkheid om code te genereren en pull requests in te dienen met minimale menselijke tussenkomst, door het gebruik van autonome AI-agents, staat op het punt een standaardpraktijk te worden. Er is echter weinig bekend over de praktische bruikbaarheid van deze pull requests en in hoeverre hun bijdragen worden geaccepteerd in real-world projecten. In dit artikel bestuderen we empirisch 567 GitHub pull requests (PR's) die zijn gegenereerd met behulp van Claude Code, een agent-gebaseerd coderingshulpmiddel, verspreid over 157 diverse open-source projecten. Onze analyse toont aan dat ontwikkelaars de neiging hebben om agents in te zetten voor taken zoals refactoring, documentatie en testen. De resultaten geven aan dat 83,8% van deze agent-ondersteunde PR's uiteindelijk worden geaccepteerd en samengevoegd door projectbeheerders, waarbij 54,9% van de samengevoegde PR's zonder verdere aanpassingen worden geïntegreerd. De overige 45,1% vereist aanvullende wijzigingen en profiteert van menselijke revisies, vooral voor bugfixes, documentatie en naleving van project-specifieke standaarden. Deze bevindingen suggereren dat hoewel agent-ondersteunde PR's grotendeels acceptabel zijn, ze nog steeds baat hebben bij menselijk toezicht en verfijning.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.