Estudio Empírico sobre las Características y Evolución del Uso de IA en Repositorios de GitHub: Evidencia a partir de Comentarios de Código

Resumen

Los desarrolladores utilizan cada vez más herramientas de inteligencia artificial como ChatGPT, Copilot y Claude en los flujos de trabajo de software cotidianos, pero los estudios previos a menudo evalúan las salidas de los LLM de forma aislada, sin examinar cómo los desarrolladores las adaptan en proyectos reales. Analizamos 35,361 comentarios de código de GitHub que mencionan explícitamente el uso de IA y sus bloques de código asociados. Primero, codificamos de forma abierta 500 comentarios y bloques de código únicos para derivar una taxonomía de las actividades de desarrollo asistidas por IA; luego, anotamos el conjunto de datos completo utilizando dos clasificadores basados en LLM y agregamos las predicciones mediante la maximización de expectativas de Dawid-Skene. También analizamos 12,996 mensajes de confirmaciones posteriores para estudiar cómo evoluciona el código asistido por IA tras su introducción, y examinamos tendencias temporales desde diciembre de 2022 hasta marzo de 2026. Nuestros resultados muestran que los desarrolladores utilizan principalmente los LLM para la implementación de código, seguida de la mejora de código, la depuración, la documentación y las pruebas. Las confirmaciones posteriores implican con frecuencia refactorización y limpieza, integración y extensión de funcionalidades, y corrección de errores, lo que indica una supervisión humana sostenida en la adaptación del código asistido por IA. Con el tiempo, los comentarios que hacen referencia a la IA pasan de la generación directa de código al apoyo conceptual y de conocimiento y a la mejora del código. Estos hallazgos sugieren que las herramientas de IA se están integrando no solo como ayudas para la generación de código, sino también como mecanismos de apoyo colaborativo cuyos resultados son refinados, extendidos y corregidos por los desarrolladores a lo largo del tiempo.

English

Developers increasingly use AI tools such as ChatGPT, Copilot, and Claude in everyday software workflows, but prior studies often evaluate LLM outputs in isolation rather than examining how developers adapt them in real projects. We analyze 35,361 GitHub code comments that explicitly reference AI use and their associated code blocks. We first open-code 500 unique comments and code blocks to derive a taxonomy of AI-assisted development activities, then annotate the full dataset using two LLM-based classifiers and aggregate predictions with Dawid-Skene expectation-maximization. We also analyze 12,996 subsequent commit messages to study how AI-assisted code evolves after introduction, and examine temporal trends from December 2022 to March 2026. Our results show that developers primarily use LLMs for code implementation, followed by code enhancement, debugging, documentation, and testing. Subsequent commits frequently involve refactoring and cleanup, feature integration and extension, and bug fixing, indicating sustained human oversight in adapting AI-assisted code. Over time, AI-referencing comments shift from direct code generation toward knowledge and conceptual support and code enhancement. These findings suggest that AI tools are becoming embedded not only as code-generation aids, but also as collaborative support mechanisms whose outputs are refined, extended, and corrected by developers over time.