Об использовании агентного кодирования: эмпирическое исследование пул-реквестов на GitHub

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

September 18, 2025

Авторы: Miku Watanabe, Hao Li, Yutaro Kashiwa, Brittany Reid, Hajimu Iida, Ahmed E. Hassan

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще интегрируются в процессы разработки программного обеспечения. Возможность генерировать код и отправлять пул-реквесты с минимальным вмешательством человека, благодаря использованию автономных ИИ-агентов, становится стандартной практикой. Однако мало что известно о практической полезности этих пул-реквестов и степени их принятия в реальных проектах. В данной статье мы эмпирически исследуем 567 пул-реквестов (PR), сгенерированных с помощью инструмента Claude Code, агентного инструмента для написания кода, в 157 различных проектах с открытым исходным кодом на GitHub. Наш анализ показывает, что разработчики склонны полагаться на агентов для таких задач, как рефакторинг, документация и тестирование. Результаты указывают на то, что 83,8% этих PR, созданных с помощью агентов, в конечном итоге принимаются и объединяются сопровождающими проектов, причём 54,9% из них интегрируются без дополнительных изменений. Оставшиеся 45,1% требуют доработок, которые выигрывают от человеческого вмешательства, особенно в случае исправления ошибок, документации и соблюдения специфических стандартов проекта. Эти результаты свидетельствуют о том, что, хотя PR, созданные с помощью агентов, в основном приемлемы, они всё же выигрывают от человеческого контроля и доработок.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.