Os Agentes de IA para Programação Registram Logs Como Humanos? Um Estudo Empírico

Do AI Coding Agents Log Like Humans? An Empirical Study

April 10, 2026

Autores: Youssef Esseddiq Ouatiti, Mohammed Sayagh, Hao Li, Ahmed E. Hassan

cs.AI

Resumo

O registro de software (logging) é essencial para a manutenção e depuração de sistemas complexos, mas ainda não está claro como os agentes de codificação de IA lidam com esse requisito não funcional. Embora trabalhos anteriores caracterizem as práticas de registro humanas, os comportamentos dos agentes de IA e a eficácia das instruções em linguagem natural para governá-los são inexplorados. Para preencher essa lacuna, realizamos um estudo empírico de 4.550 pull requests agenticos em 81 repositórios de código aberto. Comparamos os padrões de registro dos agentes com bases de referência humanas e analisamos o impacto de instruções explícitas de registro. Descobrimos que os agentes alteram o registro com menos frequência do que os humanos em 58,4% dos repositórios, embora exibam maior densidade de logs quando o fazem. Além disso, instruções explícitas de registro são raras (4,7%) e ineficazes, pois os agentes deixam de cumprir solicitações construtivas em 67% das vezes. Por fim, observamos que os humanos realizam 72,5% dos reparos de log pós-geração, atuando como "zeladores silenciosos" que corrigem problemas de registro e observabilidade sem feedback explícito de revisão. Essas descobertas indicam uma dupla falha na instrução por linguagem natural (ou seja, escassez de instruções de registro e baixa conformidade do agente), sugerindo que proteções determinísticas podem ser necessárias para garantir práticas consistentes de registro.

English

Software logging is essential for maintaining and debugging complex systems, yet it remains unclear how AI coding agents handle this non-functional requirement. While prior work characterizes human logging practices, the behaviors of AI coding agents and the efficacy of natural language instructions in governing them are unexplored. To address this gap, we conduct an empirical study of 4,550 agentic pull requests across 81 open-source repositories. We compare agent logging patterns against human baselines and analyze the impact of explicit logging instructions. We find that agents change logging less often than humans in 58.4% of repositories, though they exhibit higher log density when they do. Furthermore, explicit logging instructions are rare (4.7%) and ineffective, as agents fail to comply with constructive requests 67% of the time. Finally, we observe that humans perform 72.5% of post-generation log repairs, acting as "silent janitors" who fix logging and observability issues without explicit review feedback. These findings indicate a dual failure in natural language instruction (i.e., scarcity of logging instructions and low agent compliance), suggesting that deterministic guardrails might be necessary to ensure consistent logging practices.