AI 코딩 에이전트는 인간처럼 기록을 남길까? 실증적 연구
Do AI Coding Agents Log Like Humans? An Empirical Study
April 10, 2026
저자: Youssef Esseddiq Ouatiti, Mohammed Sayagh, Hao Li, Ahmed E. Hassan
cs.AI
초록
소프트웨어 로깅은 복잡한 시스템의 유지보수와 디버깅에 필수적이지만, AI 코딩 에이전트가 이러한 비기능적 요구사항을 어떻게 처리하는지는 여전히 불분명합니다. 기존 연구는 인간의 로깅 관행을 규명했으나, AI 코딩 에이전트의 행동과 이를 제어하는 자연어 지시의 효율성은 연구되지 않았습니다. 이러한 격차를 해결하기 위해 우리는 81개의 오픈소스 저장소에서 4,550개의 에이전트 풀 리퀘스트에 대한 실증적 연구를 수행합니다. 에이전트의 로깅 패턴을 인간 기준과 비교하고 명시적 로깅 지시의 영향을 분석합니다. 그 결과, 에이전트는 58.4%의 저장소에서 인간보다 로깅 변경 빈도가 낮았으나, 변경을 가할 때는 더 높은 로그 밀도를 보였습니다. 또한 명시적 로깅 지시는 드물게(4.7%) 나타났으며 효과적이지 않았는데, 에이전트는 건설적인 요청의 67%를 이행하지 못했습니다. 마지막으로, 인간이 생성 후 로그 수정의 72.5%를 수행하며 명시적 리뷰 피드백 없이 로깅 및 가시성 문제를 해결하는 "침묵하는 관리인" 역할을 한다는 점을 관찰했습니다. 이러한 발견은 자연어 지시의 이중적 실패(즉, 로깅 지시의 부족과 낮은 에이전트 준수도)를 나타내며, 일관된 로깅 관행을 보장하기 위해서는 결정론적 가드레일이 필요할 수 있음을 시사합니다.
English
Software logging is essential for maintaining and debugging complex systems, yet it remains unclear how AI coding agents handle this non-functional requirement. While prior work characterizes human logging practices, the behaviors of AI coding agents and the efficacy of natural language instructions in governing them are unexplored. To address this gap, we conduct an empirical study of 4,550 agentic pull requests across 81 open-source repositories. We compare agent logging patterns against human baselines and analyze the impact of explicit logging instructions. We find that agents change logging less often than humans in 58.4% of repositories, though they exhibit higher log density when they do. Furthermore, explicit logging instructions are rare (4.7%) and ineffective, as agents fail to comply with constructive requests 67% of the time. Finally, we observe that humans perform 72.5% of post-generation log repairs, acting as "silent janitors" who fix logging and observability issues without explicit review feedback. These findings indicate a dual failure in natural language instruction (i.e., scarcity of logging instructions and low agent compliance), suggesting that deterministic guardrails might be necessary to ensure consistent logging practices.