Sull'Uso della Codifica Agente: Uno Studio Empirico sulle Pull Request su GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

Autori: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

Abstract

I grandi modelli linguistici (LLM) sono sempre più integrati nei processi di sviluppo del software. La capacità di generare codice e inviare pull request con un intervento umano minimo, attraverso l'uso di agenti AI autonomi, è destinata a diventare una pratica standard. Tuttavia, si sa poco sull'utilità pratica di queste pull request e sulla misura in cui i loro contributi vengono accettati in progetti reali. In questo articolo, studiamo empiricamente 567 pull request (PR) generate utilizzando Claude Code, uno strumento di codifica agentico, in 157 progetti open-source diversi. La nostra analisi rivela che gli sviluppatori tendono a fare affidamento sugli agenti per attività come refactoring, documentazione e testing. I risultati indicano che l'83,8% di queste PR assistite da agenti viene accettato e integrato dai maintainer dei progetti, con il 54,9% delle PR integrate senza ulteriori modifiche. Il restante 45,1% richiede cambiamenti aggiuntivi e beneficia di revisioni umane, specialmente per correzioni di bug, documentazione e aderenza agli standard specifici del progetto. Questi risultati suggeriscono che, sebbene le PR assistite da agenti siano largamente accettabili, traggono comunque vantaggio dalla supervisione e dal perfezionamento umano.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.