Empirische studie naar de kenmerken en evolutie van AI-gebruik in GitHub-repositories: bewijs uit codecommentaar

Samenvatting

Ontwikkelaars maken steeds vaker gebruik van AI-tools zoals ChatGPT, Copilot en Claude in dagelijkse softwareworkflows, maar eerdere studies evalueren LLM-outputs vaak in isolatie in plaats van te onderzoeken hoe ontwikkelaars deze aanpassen in echte projecten. Wij analyseren 35.361 GitHub-codecommentaren die expliciet verwijzen naar AI-gebruik en de bijbehorende codeblokken. Eerst coderen we 500 unieke commentaren en codeblokken open om een taxonomie van AI-ondersteunde ontwikkelactiviteiten af te leiden, vervolgens annoteren we de volledige dataset met behulp van twee op LLM's gebaseerde classifiers en aggregeren we voorspellingen met Dawid-Skene-verwachtingsmaximalisatie. Ook analyseren we 12.996 daaropvolgende commitberichten om te bestuderen hoe AI-ondersteunde code evolueert na introductie, en onderzoeken we temporele trends van december 2022 tot maart 2026. Onze resultaten tonen aan dat ontwikkelaars LLM's voornamelijk gebruiken voor code-implementatie, gevolgd door codeverbetering, debuggen, documentatie en testen. Daaropvolgende commits omvatten vaak refactoring en opschoning, feature-integratie en -uitbreiding, en bugfixes, wat wijst op aanhoudend menselijk toezicht bij het aanpassen van AI-ondersteunde code. In de loop van de tijd verschuiven AI-verwijzende commentaren van directe codegeneratie naar kennis- en conceptuele ondersteuning en codeverbetering. Deze bevindingen suggereren dat AI-tools steeds vaker worden ingebed, niet alleen als hulpmiddelen voor codegeneratie, maar ook als collaboratieve ondersteuningsmechanismen waarvan de outputs door ontwikkelaars in de loop van de tijd worden verfijnd, uitgebreid en gecorrigeerd.

English

Developers increasingly use AI tools such as ChatGPT, Copilot, and Claude in everyday software workflows, but prior studies often evaluate LLM outputs in isolation rather than examining how developers adapt them in real projects. We analyze 35,361 GitHub code comments that explicitly reference AI use and their associated code blocks. We first open-code 500 unique comments and code blocks to derive a taxonomy of AI-assisted development activities, then annotate the full dataset using two LLM-based classifiers and aggregate predictions with Dawid-Skene expectation-maximization. We also analyze 12,996 subsequent commit messages to study how AI-assisted code evolves after introduction, and examine temporal trends from December 2022 to March 2026. Our results show that developers primarily use LLMs for code implementation, followed by code enhancement, debugging, documentation, and testing. Subsequent commits frequently involve refactoring and cleanup, feature integration and extension, and bug fixing, indicating sustained human oversight in adapting AI-assisted code. Over time, AI-referencing comments shift from direct code generation toward knowledge and conceptual support and code enhancement. These findings suggest that AI tools are becoming embedded not only as code-generation aids, but also as collaborative support mechanisms whose outputs are refined, extended, and corrected by developers over time.