Loggen AI-coderingsagenten zoals mensen? Een empirische studie
Do AI Coding Agents Log Like Humans? An Empirical Study
April 10, 2026
Auteurs: Youssef Esseddiq Ouatiti, Mohammed Sayagh, Hao Li, Ahmed E. Hassan
cs.AI
Samenvatting
Software logging is essentieel voor het onderhoud en debuggen van complexe systemen, maar het blijft onduidelijk hoe AI-codeeragenten omgaan met deze niet-functionele vereiste. Hoewel eerder onderzoek de loggingpraktijken van mensen karakteriseert, zijn het gedrag van AI-codeeragenten en de effectiviteit van natuurlijke-taalinstructies om deze te sturen nog onontgonnen terrein. Om deze leemte op te vullen, voeren we een empirische studie uit van 4.550 agent-gegenereerde pull-aanvragen verspreid over 81 open-source repositories. We vergelijken de loggingpatronen van agenten met menselijke basislijningen en analyseren de impact van expliciete logginginstructies. We constateren dat agenten logging minder vaak wijzigen dan mensen in 58,4% van de repositories, hoewel ze een hogere logdichtheid vertonen wanneer ze dit wel doen. Verder zijn expliciete logginginstructies zeldzaam (4,7%) en ineffectief, aangezien agenten in 67% van de gevallen niet voldoen aan constructieve verzoeken. Ten slotte observeren we dat mensen 72,5% van de logreparaties na generatie uitvoeren; zij fungeren als "stille conciërges" die logging- en observeerbaarheidsproblemen verhelpen zonder expliciete reviewfeedback. Deze bevindingen duiden op een dubbele mislukking van natuurlijke-taalinstructies (namelijk schaarste aan logginginstructies en lage naleving door agenten), wat suggereert dat deterministische beveiligingsmaatregelen nodig zouden kunnen zijn om consistente loggingpraktijken te waarborgen.
English
Software logging is essential for maintaining and debugging complex systems, yet it remains unclear how AI coding agents handle this non-functional requirement. While prior work characterizes human logging practices, the behaviors of AI coding agents and the efficacy of natural language instructions in governing them are unexplored. To address this gap, we conduct an empirical study of 4,550 agentic pull requests across 81 open-source repositories. We compare agent logging patterns against human baselines and analyze the impact of explicit logging instructions. We find that agents change logging less often than humans in 58.4% of repositories, though they exhibit higher log density when they do. Furthermore, explicit logging instructions are rare (4.7%) and ineffective, as agents fail to comply with constructive requests 67% of the time. Finally, we observe that humans perform 72.5% of post-generation log repairs, acting as "silent janitors" who fix logging and observability issues without explicit review feedback. These findings indicate a dual failure in natural language instruction (i.e., scarcity of logging instructions and low agent compliance), suggesting that deterministic guardrails might be necessary to ensure consistent logging practices.