De Debugging Decay Index: Een Heroverweging van Debuggingstrategieën voor Code-LLM's

The Debugging Decay Index: Rethinking Debugging Strategies for Code LLMs

June 23, 2025

Auteurs: Muntasir Adnan, Carlos C. N. Kuhn

cs.AI

Samenvatting

De effectiviteit van AI-debugging volgt een voorspelbaar patroon van exponentiële afname; de meeste modellen verliezen 60-80% van hun debugcapaciteit binnen slechts 2-3 pogingen, ondanks dat iteratief debuggen een cruciale vaardigheid is voor praktische codegeneratiesystemen. We introduceren de Debugging Decay Index (DDI), een wiskundig raamwerk dat kwantificeert wanneer debuggen ineffectief wordt en interventiepunten voorspelt. Onze strategische fresh start-aanpak verschuift van exploitatie naar exploratie op strategische punten in het debugproces, en toont aan dat goed getimede interventies de effectiviteit van debuggen kunnen redden. DDI onthult een fundamentele beperking in de huidige AI-debugging en biedt het eerste kwantitatieve raamwerk voor het optimaliseren van iteratieve codegeneratiestrategieën.

English

The effectiveness of AI debugging follows a predictable exponential decay pattern; most models lose 60-80% of their debugging capability within just 2-3 attempts, despite iterative debugging being a critical capability for practical code generation systems. We introduce the Debugging Decay Index (DDI), a mathematical framework that quantifies when debugging becomes ineffective and predicts intervention points. Our strategic fresh start approach shifts from exploitation to exploration at strategic points in the debugging process, demonstrating that well-timed interventions can rescue the effectiveness of debugging. DDI reveals a fundamental limitation in current AI debugging and provides the first quantitative framework for optimising iterative code generation strategies.