Sobre el Uso de Codificación Agéntica: Un Estudio Empírico de Solicitudes de Extracción en GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

Autores: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se están integrando cada vez más en los procesos de desarrollo de software. La capacidad de generar código y enviar solicitudes de extracción (pull requests) con una intervención humana mínima, mediante el uso de agentes de IA autónomos, está en camino de convertirse en una práctica estándar. Sin embargo, se sabe poco sobre la utilidad práctica de estas solicitudes de extracción y el grado en que sus contribuciones son aceptadas en proyectos del mundo real. En este artículo, estudiamos empíricamente 567 solicitudes de extracción (PRs) generadas utilizando Claude Code, una herramienta de codificación basada en agentes, en 157 proyectos de código abierto diversos. Nuestro análisis revela que los desarrolladores tienden a depender de los agentes para tareas como refactorización, documentación y pruebas. Los resultados indican que el 83.8% de estas PRs asistidas por agentes son eventualmente aceptadas y fusionadas por los mantenedores de los proyectos, y que el 54.9% de las PRs fusionadas se integran sin modificaciones adicionales. El 45.1% restante requiere cambios adicionales y se beneficia de revisiones humanas, especialmente para correcciones de errores, documentación y cumplimiento de estándares específicos del proyecto. Estos hallazgos sugieren que, aunque las PRs asistidas por agentes son en gran medida aceptables, aún se benefician de la supervisión y el refinamiento humano.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.