Журналируют ли ИИ-агенты для программирования как люди? Эмпирическое исследование
Do AI Coding Agents Log Like Humans? An Empirical Study
April 10, 2026
Авторы: Youssef Esseddiq Ouatiti, Mohammed Sayagh, Hao Li, Ahmed E. Hassan
cs.AI
Аннотация
Логирование программного обеспечения является важнейшим элементом поддержки и отладки сложных систем, однако до сих пор неясно, как ИИ-агенты для написания кода справляются с этим нефункциональным требованием. В то время как предыдущие исследования характеризуют практики логирования, применяемые людьми, поведение ИИ-агентов и эффективность использования инструкций на естественном языке для управления ими остаются неизученными. Чтобы восполнить этот пробел, мы провели эмпирическое исследование 4550 запросов на включение изменений (pull requests), сгенерированных агентами, в 81 репозитории с открытым исходным кодом. Мы сравнили шаблоны логирования, используемые агентами, с базовыми показателями, характерными для людей, и проанализировали влияние явных инструкций по логированию. Мы выяснили, что агенты изменяют логирование реже, чем люди, в 58,4% репозиториев, хотя когда они это делают, плотность логов у них выше. Кроме того, явные инструкции по логированию встречаются редко (4,7%) и неэффективны, поскольку агенты не выполняют конструктивные запросы в 67% случаев. Наконец, мы наблюдаем, что люди выполняют 72,5% исправлений логов, сделанных после генерации кода, выступая в роли «тихих уборщиков», которые устраняют проблемы логирования и наблюдаемости без явного ревью. Эти результаты указывают на двойной провал инструкций на естественном языке (а именно, на недостаток инструкций по логированию и низкую исполнительность агентов), что позволяет предположить, что для обеспечения согласованной практики логирования могут потребоваться детерминированные защитные механизмы.
English
Software logging is essential for maintaining and debugging complex systems, yet it remains unclear how AI coding agents handle this non-functional requirement. While prior work characterizes human logging practices, the behaviors of AI coding agents and the efficacy of natural language instructions in governing them are unexplored. To address this gap, we conduct an empirical study of 4,550 agentic pull requests across 81 open-source repositories. We compare agent logging patterns against human baselines and analyze the impact of explicit logging instructions. We find that agents change logging less often than humans in 58.4% of repositories, though they exhibit higher log density when they do. Furthermore, explicit logging instructions are rare (4.7%) and ineffective, as agents fail to comply with constructive requests 67% of the time. Finally, we observe that humans perform 72.5% of post-generation log repairs, acting as "silent janitors" who fix logging and observability issues without explicit review feedback. These findings indicate a dual failure in natural language instruction (i.e., scarcity of logging instructions and low agent compliance), suggesting that deterministic guardrails might be necessary to ensure consistent logging practices.