Étude empirique sur les caractéristiques et l'évolution de l'utilisation de l'IA dans les dépôts GitHub : preuves issues des commentaires de code

Résumé

Les développeurs utilisent de plus en plus des outils d’IA tels que ChatGPT, Copilot et Claude dans leurs flux de travail logiciels quotidiens, mais les études antérieures évaluent souvent les sorties des LLM de manière isolée, sans examiner comment les développeurs les adaptent dans des projets réels. Nous analysons 35 361 commentaires de code GitHub faisant explicitement référence à l’utilisation de l’IA ainsi que les blocs de code associés. Nous codons d’abord manuellement 500 commentaires et blocs de code uniques pour élaborer une taxonomie des activités de développement assistées par l’IA, puis annotons l’ensemble du jeu de données à l’aide de deux classificateurs basés sur des LLM et agrégcons les prédictions par maximisation de l’espérance selon Dawid-Skene. Nous analysons également 12 996 messages de commit ultérieurs pour étudier l’évolution du code assisté par l’IA après son introduction, et examinons les tendances temporelles de décembre 2022 à mars 2026. Nos résultats montrent que les développeurs utilisent principalement les LLM pour l’implémentation de code, suivie par l’amélioration du code, le débogage, la documentation et les tests. Les commits ultérieurs impliquent fréquemment du refactoring et du nettoyage, l’intégration et l’extension de fonctionnalités, ainsi que la correction de bogues, ce qui indique une supervision humaine continue dans l’adaptation du code assisté par l’IA. Au fil du temps, les commentaires faisant référence à l’IA passent de la génération directe de code au soutien conceptuel et à l’amélioration du code. Ces résultats suggèrent que les outils d’IA s’intègrent non seulement comme des aides à la génération de code, mais aussi comme des mécanismes de soutien collaboratif dont les sorties sont affinées, étendues et corrigées par les développeurs au fil du temps.

English

Developers increasingly use AI tools such as ChatGPT, Copilot, and Claude in everyday software workflows, but prior studies often evaluate LLM outputs in isolation rather than examining how developers adapt them in real projects. We analyze 35,361 GitHub code comments that explicitly reference AI use and their associated code blocks. We first open-code 500 unique comments and code blocks to derive a taxonomy of AI-assisted development activities, then annotate the full dataset using two LLM-based classifiers and aggregate predictions with Dawid-Skene expectation-maximization. We also analyze 12,996 subsequent commit messages to study how AI-assisted code evolves after introduction, and examine temporal trends from December 2022 to March 2026. Our results show that developers primarily use LLMs for code implementation, followed by code enhancement, debugging, documentation, and testing. Subsequent commits frequently involve refactoring and cleanup, feature integration and extension, and bug fixing, indicating sustained human oversight in adapting AI-assisted code. Over time, AI-referencing comments shift from direct code generation toward knowledge and conceptual support and code enhancement. These findings suggest that AI tools are becoming embedded not only as code-generation aids, but also as collaborative support mechanisms whose outputs are refined, extended, and corrected by developers over time.