Sobre o Uso de Codificação Agente: Um Estudo Empírico de Pull Requests no GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

Autores: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) estão sendo cada vez mais integrados aos processos de desenvolvimento de software. A capacidade de gerar código e enviar pull requests com intervenção humana mínima, por meio do uso de agentes de IA autônomos, está prestes a se tornar uma prática padrão. No entanto, pouco se sabe sobre a utilidade prática desses pull requests e até que ponto suas contribuições são aceitas em projetos do mundo real. Neste artigo, estudamos empiricamente 567 pull requests (PRs) do GitHub gerados usando o Claude Code, uma ferramenta de codificação baseada em agentes, em 157 projetos de código aberto diversos. Nossa análise revela que os desenvolvedores tendem a depender de agentes para tarefas como refatoração, documentação e testes. Os resultados indicam que 83,8% desses PRs assistidos por agentes são eventualmente aceitos e mesclados pelos mantenedores dos projetos, com 54,9% dos PRs mesclados sendo integrados sem modificações adicionais. Os 45,1% restantes exigem alterações adicionais e se beneficiam de revisões humanas, especialmente para correções de bugs, documentação e conformidade com padrões específicos do projeto. Esses achados sugerem que, embora os PRs assistidos por agentes sejam amplamente aceitáveis, eles ainda se beneficiam de supervisão e refinamento humanos.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.