Индекс ухудшения отладки: переосмысление стратегий отладки для языковых моделей программирования

The Debugging Decay Index: Rethinking Debugging Strategies for Code LLMs

June 23, 2025

Авторы: Muntasir Adnan, Carlos C. N. Kuhn

cs.AI

Аннотация

Эффективность отладки ИИ следует предсказуемой модели экспоненциального затухания: большинство моделей теряют 60-80% своей способности к отладке уже через 2-3 попытки, несмотря на то, что итеративная отладка является критически важной функцией для практических систем генерации кода. Мы представляем Индекс Затухания Отладки (Debugging Decay Index, DDI) — математическую модель, которая количественно определяет момент, когда отладка становится неэффективной, и прогнозирует точки вмешательства. Наш стратегический подход "свежего старта" переключается с эксплуатации на исследование в ключевые моменты процесса отладки, демонстрируя, что своевременные вмешательства могут восстановить эффективность отладки. DDI выявляет фундаментальное ограничение в текущих подходах к отладке ИИ и предоставляет первую количественную модель для оптимизации итеративных стратегий генерации кода.

English

The effectiveness of AI debugging follows a predictable exponential decay pattern; most models lose 60-80% of their debugging capability within just 2-3 attempts, despite iterative debugging being a critical capability for practical code generation systems. We introduce the Debugging Decay Index (DDI), a mathematical framework that quantifies when debugging becomes ineffective and predicts intervention points. Our strategic fresh start approach shifts from exploitation to exploration at strategic points in the debugging process, demonstrating that well-timed interventions can rescue the effectiveness of debugging. DDI reveals a fundamental limitation in current AI debugging and provides the first quantitative framework for optimising iterative code generation strategies.