인간 중심에서 에이전트 코드 리뷰로: 생성형 AI 기술의 세대별 발전이 리뷰 품질에 미치는 영향

초록

코드 리뷰는 코드 통합 전 소프트웨어 품질을 유지하는 데 도움이 되지만, 인간 리뷰어에게 상당한 작업 부담을 초래하기도 한다. 생성형 인공지능이 소프트웨어 개발의 일부가 되면서 코드 리뷰는 주로 인간이 수행하던 리뷰 프로세스에서 대규모 언어 모델(LLM) 리뷰어와 AI 에이전트 리뷰어가 인간 리뷰어와 함께 참여하는 AI 지원 리뷰 프로세스로 전환되고 있다. 그러나 이러한 전환이 리뷰 효율성과 리뷰 품질에 어떤 영향을 미치는지에 대한 경험적 증거는 여전히 부족하다. 본 논문에서는 인간 중심 리뷰, LLM 지원 리뷰, 에이전틱 코드 리뷰라는 세 가지 코드 리뷰 시대를 거친 207개 GitHub 프로젝트의 102만 개의 리뷰된 풀 리퀘스트를 연구한다. 우리는 세 가지 AI 리뷰어 도입 관행을 식별했다: 점진적 AI 도입, 빠른 LLM 도입, 빠른 AI 에이전트 도입. 또한 리뷰 프로세스 중 인간, LLM 및 AI 에이전트 리뷰어가 어떻게 협력하는지 특성화하기 위해 풀 리퀘스트 리뷰 토론을 리뷰어 상호작용 시퀀스로 모델링한다. 결과에 따르면 에이전트가 관여된 협업 패턴, 특히 AI 에이전트가 시작한 리뷰 또는 여러 AI 에이전트가 관여된 리뷰는 점진적 AI 도입 및 빠른 AI 에이전트 도입 하에서 더 빠른 리뷰 결정과 관련이 있다. 그러나 이러한 효율성 향상이 더 나은 리뷰 품질로 이어지지는 않는다. 또한 리뷰 활동과 풀 리퀘스트 유형이 시대를 불문하고 중요하게 남아 있는 반면, LLM 및 AI 에이전트 리뷰어가 참여하게 되면 인간-AI 협업 패턴이 리뷰 효율성에 대한 가장 강력한 설명 요인이 된다는 점을 발견했다. 이러한 발견은 리뷰 품질을 약화시키지 않으면서 효율성을 개선하는 AI 지원 코드 리뷰 프로세스 설계를 위한 경험적 지침을 제공한다.

English

Code review helps maintain software quality before code integration, but it also imposes a substantial workload on human reviewers. As generative artificial intelligence becomes part of software development, code review is shifting from a primarily human review process toward AI-supported review processes in which large language model (LLM) reviewers and AI agent reviewers participate alongside human reviewers. However, we still lack empirical evidence on how this transition affects review efficiency and review quality. In this paper, we study 1.02 million reviewed pull requests from 207 GitHub projects that transition across three code review eras: human-centric review, LLM-assisted review, and agentic code review. We identify three AI reviewer adoption practices: Gradual AI Adoption, Rapid LLM Adoption, and Rapid AI Agent Adoption. We further model pull request review discussions as reviewer interaction sequences to characterize how human, LLM, and AI agent reviewers collaborate during the review process. Our results show that agent-involved collaboration patterns, especially reviews initiated by AI agents or involving multiple AI agents, are associated with faster review decisions under Gradual AI Adoption and Rapid AI Agent Adoption. However, these efficiency gains do not translate into better review quality. We also find that review activity and pull request type remain important across eras, while human-AI collaboration patterns become the strongest explanatory factor for review efficiency once LLM and AI agent reviewers participate. These findings provide empirical guidance for designing AI-supported code review processes that improve efficiency without weakening review quality.