Der Debugging-Decay-Index: Neubewertung von Debugging-Strategien für Code-LLMs

The Debugging Decay Index: Rethinking Debugging Strategies for Code LLMs

June 23, 2025

Autoren: Muntasir Adnan, Carlos C. N. Kuhn

cs.AI

Zusammenfassung

Die Effektivität des KI-Debuggings folgt einem vorhersehbaren exponentiellen Abfallmuster; die meisten Modelle verlieren 60-80 % ihrer Debugging-Fähigkeit innerhalb von nur 2-3 Versuchen, obwohl iteratives Debugging eine entscheidende Fähigkeit für praktische Codegenerierungssysteme darstellt. Wir führen den Debugging-Decay-Index (DDI) ein, ein mathematisches Framework, das quantifiziert, wann Debugging ineffektiv wird, und Eingriffspunkte vorhersagt. Unser strategischer Neustart-Ansatz wechselt von der Ausnutzung zur Exploration an strategischen Punkten im Debugging-Prozess und zeigt, dass gut getimte Interventionen die Effektivität des Debuggings retten können. Der DDI offenbart eine grundlegende Einschränkung im aktuellen KI-Debugging und bietet das erste quantitative Framework zur Optimierung iterativer Codegenerierungsstrategien.

English

The effectiveness of AI debugging follows a predictable exponential decay pattern; most models lose 60-80% of their debugging capability within just 2-3 attempts, despite iterative debugging being a critical capability for practical code generation systems. We introduce the Debugging Decay Index (DDI), a mathematical framework that quantifies when debugging becomes ineffective and predicts intervention points. Our strategic fresh start approach shifts from exploitation to exploration at strategic points in the debugging process, demonstrating that well-timed interventions can rescue the effectiveness of debugging. DDI reveals a fundamental limitation in current AI debugging and provides the first quantitative framework for optimising iterative code generation strategies.