에이전트 기반 코딩의 활용: GitHub 풀 리퀘스트에 대한 실증적 연구

초록

대형 언어 모델(LLM)은 점차 소프트웨어 개발 프로세스에 통합되고 있습니다. 자율적인 AI 에이전트를 통해 최소한의 인간 개입으로 코드를 생성하고 풀 리퀘스트를 제출하는 능력은 표준 관행이 될 전망입니다. 그러나 이러한 풀 리퀘스트의 실질적인 유용성과 실제 프로젝트에서 그 기여가 얼마나 수용되는지에 대해서는 알려진 바가 거의 없습니다. 본 논문에서는 에이전트형 코딩 도구인 Claude Code를 사용하여 생성된 157개의 다양한 오픈소스 프로젝트에서 567개의 GitHub 풀 리퀘스트(PR)를 실증적으로 연구합니다. 우리의 분석은 개발자들이 리팩토링, 문서화, 테스트와 같은 작업에 에이전트를 의존하는 경향이 있음을 보여줍니다. 결과에 따르면, 이러한 에이전트 지원 PR의 83.8%가 프로젝트 관리자에 의해 최종적으로 수락 및 병합되며, 병합된 PR의 54.9%는 추가 수정 없이 통합됩니다. 나머지 45.1%는 버그 수정, 문서화, 프로젝트별 표준 준수와 같은 작업에서 인간의 수정을 통해 이점을 얻습니다. 이러한 연구 결과는 에이전트 지원 PR이 대체로 수용 가능하지만 여전히 인간의 감독과 개선이 필요함을 시사합니다.

English

Large language models (LLMs) are increasingly being integrated into software development processes. The ability to generate code and submit pull requests with minimal human intervention, through the use of autonomous AI agents, is poised to become a standard practice. However, little is known about the practical usefulness of these pull requests and the extent to which their contributions are accepted in real-world projects. In this paper, we empirically study 567 GitHub pull requests (PRs) generated using Claude Code, an agentic coding tool, across 157 diverse open-source projects. Our analysis reveals that developers tend to rely on agents for tasks such as refactoring, documentation, and testing. The results indicate that 83.8% of these agent-assisted PRs are eventually accepted and merged by project maintainers, with 54.9% of the merged PRs are integrated without further modification. The remaining 45.1% require additional changes benefit from human revisions, especially for bug fixes, documentation, and adherence to project-specific standards. These findings suggest that while agent-assisted PRs are largely acceptable, they still benefit from human oversight and refinement.

에이전트 기반 코딩의 활용: GitHub 풀 리퀘스트에 대한 실증적 연구

On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub

초록

Support