Estudo Empírico sobre as Características e Evolução do Uso de IA em Repositórios do GitHub: Evidências a partir de Comentários de Código

Resumo

Desenvolvedores utilizam cada vez mais ferramentas de IA, como ChatGPT, Copilot e Claude, em fluxos de trabalho de software cotidianos, mas estudos anteriores frequentemente avaliam as saídas de LLMs de forma isolada, em vez de examinar como os desenvolvedores as adaptam em projetos reais. Analisamos 35.361 comentários de código do GitHub que mencionam explicitamente o uso de IA, juntamente com seus blocos de código associados. Primeiramente, codificamos manualmente 500 comentários e blocos de código únicos para derivar uma taxonomia de atividades de desenvolvimento assistido por IA; em seguida, anotamos o conjunto de dados completo usando dois classificadores baseados em LLM e agregamos as previsões com o método de maximização de expectativa de Dawid-Skene. Também analisamos 12.996 mensagens de commit subsequentes para estudar como o código assistido por IA evolui após sua introdução, e examinamos tendências temporais de dezembro de 2022 a março de 2026. Nossos resultados mostram que os desenvolvedores utilizam principalmente LLMs para implementação de código, seguidas por aprimoramento de código, depuração, documentação e testes. Commits subsequentes frequentemente envolvem refatoração e limpeza, integração e extensão de funcionalidades e correção de bugs, indicando supervisão humana contínua na adaptação do código assistido por IA. Ao longo do tempo, os comentários que referenciam IA passam da geração direta de código para suporte conceitual e de conhecimento e aprimoramento de código. Esses achados sugerem que as ferramentas de IA estão se tornando incorporadas não apenas como auxílios para geração de código, mas também como mecanismos de suporte colaborativo, cujas saídas são refinadas, estendidas e corrigidas pelos desenvolvedores ao longo do tempo.

English

Developers increasingly use AI tools such as ChatGPT, Copilot, and Claude in everyday software workflows, but prior studies often evaluate LLM outputs in isolation rather than examining how developers adapt them in real projects. We analyze 35,361 GitHub code comments that explicitly reference AI use and their associated code blocks. We first open-code 500 unique comments and code blocks to derive a taxonomy of AI-assisted development activities, then annotate the full dataset using two LLM-based classifiers and aggregate predictions with Dawid-Skene expectation-maximization. We also analyze 12,996 subsequent commit messages to study how AI-assisted code evolves after introduction, and examine temporal trends from December 2022 to March 2026. Our results show that developers primarily use LLMs for code implementation, followed by code enhancement, debugging, documentation, and testing. Subsequent commits frequently involve refactoring and cleanup, feature integration and extension, and bug fixing, indicating sustained human oversight in adapting AI-assisted code. Over time, AI-referencing comments shift from direct code generation toward knowledge and conceptual support and code enhancement. These findings suggest that AI tools are becoming embedded not only as code-generation aids, but also as collaborative support mechanisms whose outputs are refined, extended, and corrected by developers over time.