Gli agenti di codifica IA registrano come gli umani? Uno studio empirico
Do AI Coding Agents Log Like Humans? An Empirical Study
April 10, 2026
Autori: Youssef Esseddiq Ouatiti, Mohammed Sayagh, Hao Li, Ahmed E. Hassan
cs.AI
Abstract
La registrazione dei log software è essenziale per il mantenimento e il debug di sistemi complessi, ma rimane poco chiaro come i sistemi di codifica basati su IA gestiscano questo requisito non funzionale. Mentre il lavoro precedente caratterizza le pratiche di logging umane, i comportamenti degli agenti di codifica IA e l'efficacia delle istruzioni in linguaggio naturale nel governarli sono inesplorati. Per colmare questa lacuna, conduciamo uno studio empirico su 4.550 pull request agent-based in 81 repository open-source. Confrontiamo i modelli di logging degli agenti con baseline umane e analizziamo l'impatto di istruzioni esplicite sul logging. Scopriamo che gli agenti modificano il logging meno spesso degli umani nel 58.4% dei repository, sebbene mostrino una densità di log più elevata quando lo fanno. Inoltre, le istruzioni esplicite sul logging sono rare (4.7%) e inefficaci, poiché gli agenti non riescono a conformarsi a richieste costruttive il 67% delle volte. Infine, osserviamo che gli umani eseguono il 72.5% delle riparazioni dei log post-generazione, agendo come "custodi silenziosi" che correggono i problemi di logging e osservabilità senza feedback espliciti di revisione. Questi risultati indicano un duplice fallimento nell'istruzione in linguaggio naturale (cioè scarsità di istruzioni di logging e bassa conformità degli agenti), suggerendo che potrebbero essere necessari meccanismi di protezione deterministici per garantire pratiche di logging coerenti.
English
Software logging is essential for maintaining and debugging complex systems, yet it remains unclear how AI coding agents handle this non-functional requirement. While prior work characterizes human logging practices, the behaviors of AI coding agents and the efficacy of natural language instructions in governing them are unexplored. To address this gap, we conduct an empirical study of 4,550 agentic pull requests across 81 open-source repositories. We compare agent logging patterns against human baselines and analyze the impact of explicit logging instructions. We find that agents change logging less often than humans in 58.4% of repositories, though they exhibit higher log density when they do. Furthermore, explicit logging instructions are rare (4.7%) and ineffective, as agents fail to comply with constructive requests 67% of the time. Finally, we observe that humans perform 72.5% of post-generation log repairs, acting as "silent janitors" who fix logging and observability issues without explicit review feedback. These findings indicate a dual failure in natural language instruction (i.e., scarcity of logging instructions and low agent compliance), suggesting that deterministic guardrails might be necessary to ensure consistent logging practices.