디버깅 감쇠 지수: 코드 LLM을 위한 디버깅 전략 재고

초록

AI 디버깅의 효율성은 예측 가능한 지수적 감소 패턴을 따릅니다. 대부분의 모델은 단 2~3번의 시도만으로도 디버깅 능력의 60~80%를 상실하며, 이는 실용적인 코드 생성 시스템에 있어 반복적 디버깅이 중요한 능력임에도 불구하고 발생하는 현상입니다. 우리는 디버깅이 비효율적으로 변하는 시점을 정량화하고 개입 시점을 예측하는 수학적 프레임워크인 디버깅 감소 지수(Debugging Decay Index, DDI)를 소개합니다. 우리의 전략적 새 출발 접근법은 디버깅 과정의 전략적 지점에서 탐색(exploitation)에서 탐구(exploration)로 전환하며, 적절한 시기의 개입이 디버깅의 효율성을 회복시킬 수 있음을 입증합니다. DDI는 현재 AI 디버깅의 근본적인 한계를 드러내고, 반복적 코드 생성 전략을 최적화하기 위한 최초의 정량적 프레임워크를 제공합니다.

English

The effectiveness of AI debugging follows a predictable exponential decay pattern; most models lose 60-80% of their debugging capability within just 2-3 attempts, despite iterative debugging being a critical capability for practical code generation systems. We introduce the Debugging Decay Index (DDI), a mathematical framework that quantifies when debugging becomes ineffective and predicts intervention points. Our strategic fresh start approach shifts from exploitation to exploration at strategic points in the debugging process, demonstrating that well-timed interventions can rescue the effectiveness of debugging. DDI reveals a fundamental limitation in current AI debugging and provides the first quantitative framework for optimising iterative code generation strategies.

디버깅 감쇠 지수: 코드 LLM을 위한 디버깅 전략 재고

The Debugging Decay Index: Rethinking Debugging Strategies for Code LLMs

초록

Support