Эмпирическое исследование характеристик и эволюции использования ИИ в репозиториях GitHub: свидетельства из комментариев к коду

Аннотация

Разработчики все чаще используют ИИ-инструменты, такие как ChatGPT, Copilot и Claude, в повседневных программных рабочих процессах, однако предыдущие исследования зачастую оценивают результаты работы LLM изолированно, не изучая, как разработчики адаптируют их в реальных проектах. Мы анализируем 35 361 комментарий к коду на GitHub, прямо упоминающий использование ИИ, и соответствующие блоки кода. Сначала мы вручную кодируем 500 уникальных комментариев и блоков кода для построения таксономии видов деятельности при разработке с помощью ИИ, затем аннотируем полный набор данных с помощью двух классификаторов на основе LLM и агрегируем прогнозы с помощью метода максимизации ожидания Давида-Скена. Также мы анализируем 12 996 последующих сообщений коммитов, чтобы изучить, как код, созданный с помощью ИИ, эволюционирует после внедрения, и исследуем временные тенденции с декабря 2022 года по март 2026 года. Наши результаты показывают, что разработчики в основном используют LLM для реализации кода, за чем следуют улучшение кода, отладка, документирование и тестирование. Последующие коммиты часто включают рефакторинг и очистку, интеграцию и расширение функциональности, а также исправление ошибок, что указывает на постоянный человеческий контроль при адаптации кода, созданного с помощью ИИ. Со временем комментарии, ссылающиеся на ИИ, смещаются от прямой генерации кода в сторону поддержки знаний и концепций, а также улучшения кода. Эти результаты позволяют предположить, что инструменты ИИ внедряются не только как средства генерации кода, но и как механизмы совместной поддержки, результаты которых разработчики со временем дорабатывают, расширяют и исправляют.

English

Developers increasingly use AI tools such as ChatGPT, Copilot, and Claude in everyday software workflows, but prior studies often evaluate LLM outputs in isolation rather than examining how developers adapt them in real projects. We analyze 35,361 GitHub code comments that explicitly reference AI use and their associated code blocks. We first open-code 500 unique comments and code blocks to derive a taxonomy of AI-assisted development activities, then annotate the full dataset using two LLM-based classifiers and aggregate predictions with Dawid-Skene expectation-maximization. We also analyze 12,996 subsequent commit messages to study how AI-assisted code evolves after introduction, and examine temporal trends from December 2022 to March 2026. Our results show that developers primarily use LLMs for code implementation, followed by code enhancement, debugging, documentation, and testing. Subsequent commits frequently involve refactoring and cleanup, feature integration and extension, and bug fixing, indicating sustained human oversight in adapting AI-assisted code. Over time, AI-referencing comments shift from direct code generation toward knowledge and conceptual support and code enhancement. These findings suggest that AI tools are becoming embedded not only as code-generation aids, but also as collaborative support mechanisms whose outputs are refined, extended, and corrected by developers over time.