Точный бенчмарк отладки: Ваша модель отлаживает или перегенерирует?

Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?

April 19, 2026

Авторы: Wang Bill Zhu, Miaosen Chai, Shangshang Wang, Yejia Liu, Song Bian, Honghua Dong, Willie Neiswanger, Robin Jia

cs.AI

Аннотация

В отличие от автодополнения кода, отладка требует локализации ошибок и применения целевых исправлений. Мы наблюдаем, что передовые большие языковые модели (LLM) часто воспроизводят корректные, но избыточно отредактированные решения в процессе отладки. Чтобы оценить, насколько LLM отстоят от точной отладки, мы представляем фреймворк Precise Debugging Benchmark (PDB), который автоматически преобразует любой набор данных по программированию в бенчмарк для отладки с оценкой, учитывающей точность. PDB генерирует программы с ошибками путем синтеза верифицированных атомарных багов и комбинирования их в программы с множественными ошибками. Мы определяем две новые метрики: точность на уровне правок и полноту на уровне ошибок, которые измеряют, сколько необходимых исправлений было сделано и сколько ошибок было устранено. Мы публикуем два оценочных бенчмарка: PDB-Single-Hard для ошибок в одной строке и PDB-Multi для многострочных ошибок. Эксперименты показывают, что передовые модели, такие как GPT-5.1-Codex и DeepSeek-V3.2-Thinking, достигают уровня прохождения модульных тестов выше 76%, но демонстрируют точность ниже 45%, даже при явной инструкции выполнять минимальную отладку. Наконец, мы показываем, что итеративные и агентные стратегии отладки не приводят к существенному улучшению точности или полноты, что подчеркивает необходимость переосмысления пост-тренировочных конвейеров для моделей, работающих с кодом.

English

Unlike code completion, debugging requires localizing faults and applying targeted edits. We observe that frontier LLMs often regenerate correct but over-edited solutions during debugging. To evaluate how far LLMs are from precise debugging, we introduce the Precise Debugging Benchmark (PDB) framework, which automatically converts any coding dataset into a debugging benchmark with precision-aware evaluation. PDB generates buggy programs by synthesizing verified atomic bugs and composing them into multi-bug programs. We define two novel metrics, edit-level precision and bug-level recall, which measures how many necessary edits are made and how many bugs are resolved. We release two evaluation benchmarks: PDB-Single-Hard on single-line bugs, and PDB-Multi on multi-line bugs. Experiments show that frontier models, such as GPT-5.1-Codex and DeepSeek-V3.2-Thinking, achieve unit-test pass rates above 76% but exhibit precision below 45%, even when explicitly instructed to perform minimal debugging. Finally, we show that iterative and agentic debugging strategies do not substantially improve precision or recall, highlighting the need to rethink post-training pipelines for coding models.