精密デバッグベンチマーク：モデルはデバッグしているのか、それとも再生成しているのか？

要旨

コード補完とは異なり、デバッグには故障箇所の特定と対象を絞った修正の適用が求められます。我々は、先進的なLLMがデバッグ中に正しいが過剰な修正を施したソリューションを再生成する頻度が高いことを観察しました。LLMが精密なデバッグにどれほど近づいているかを評価するため、任意のコーディングデータセットを精度評価対応のデバッグベンチマークに自動変換するPrecise Debugging Benchmark（PDB）フレームワークを提案します。PDBは、検証済みの原子バグを合成し、それらを複数バグプログラムに組み合わせることで、バグを含むプログラムを生成します。我々は、必要な修正がどれだけ行われたかを測定する編集レベル精度と、どの程度のバグが解決されたかを測定するバグレベル再現率という二つの新規指標を定義します。単一行バグに焦点を当てたPDB-Single-Hardと、複数行バグを対象としたPDB-Multiの二つの評価ベンチマークを公開しました。実験結果によれば、GPT-5.1-CodexやDeepSeek-V3.2-Thinkingのような先進モデルは、単体テストの合格率が76%以上に達する一方、最小限のデバッグを明示的に指示した場合でも、精度は45%未満に留まります。最後に、反復的かつエージェント的なデバッグ戦略が精度や再現率を大幅に改善しないことを示し、コーディングモデルの学習後パイプラインの再構築の必要性を浮き彫りにします。

English

Unlike code completion, debugging requires localizing faults and applying targeted edits. We observe that frontier LLMs often regenerate correct but over-edited solutions during debugging. To evaluate how far LLMs are from precise debugging, we introduce the Precise Debugging Benchmark (PDB) framework, which automatically converts any coding dataset into a debugging benchmark with precision-aware evaluation. PDB generates buggy programs by synthesizing verified atomic bugs and composing them into multi-bug programs. We define two novel metrics, edit-level precision and bug-level recall, which measures how many necessary edits are made and how many bugs are resolved. We release two evaluation benchmarks: PDB-Single-Hard on single-line bugs, and PDB-Multi on multi-line bugs. Experiments show that frontier models, such as GPT-5.1-Codex and DeepSeek-V3.2-Thinking, achieve unit-test pass rates above 76% but exhibit precision below 45%, even when explicitly instructed to perform minimal debugging. Finally, we show that iterative and agentic debugging strategies do not substantially improve precision or recall, highlighting the need to rethink post-training pipelines for coding models.

精密デバッグベンチマーク：モデルはデバッグしているのか、それとも再生成しているのか？

Precise Debugging Benchmark: Is Your Model Debugging or Regenerating?

要旨

Support