DeepPrune: トレース間の冗長性を排除した並列スケーリング
DeepPrune: Parallel Scaling without Inter-trace Redundancy
October 9, 2025
著者: Shangqing Tu, Yaxuan Li, Yushi Bai, Lei Hou, Juanzi Li
cs.AI
要旨
並列スケーリングは、複数のChain-of-Thought（CoT）トレースを同時に生成することで、大規模言語モデル（LLM）の推論能力を向上させる強力なパラダイムとして登場しました。しかし、このアプローチはトレース間の冗長性により、大きな計算効率の低下を引き起こします。私たちの分析によると、並列推論トレースの80％以上が同一の最終回答を生成しており、これは大幅な計算の無駄を表しています。この重要な効率のボトルネックに対処するため、私たちはDeepPruneという新しいフレームワークを提案します。このフレームワークは、動的プルーニングを通じて効率的な並列スケーリングを実現します。私たちの手法は、焦点損失とオーバーサンプリング技術を用いて訓練された専用の判定モデルを特徴とし、部分的な推論トレースから回答の等価性を正確に予測します（等価性予測で0.87のAUROCを達成）。さらに、オンライン貪欲クラスタリングアルゴリズムを組み合わせることで、回答の多様性を保ちながら冗長なパスを動的にプルーニングします。3つの挑戦的なベンチマーク（AIME 2024、AIME 2025、GPQA）と複数の推論モデルにわたる包括的な評価により、DeepPruneは従来のコンセンサスサンプリングと比較してほとんどのケースで80％以上のトークン削減を達成しつつ、3％ポイント以内の競争力のある精度を維持することが示されました。私たちの研究は、効率的な並列推論の新たな標準を確立し、高性能な推論をより効率的にします。私たちのコードとデータはこちらです：https://deepprune.github.io/
English
Parallel scaling has emerged as a powerful paradigm to enhance reasoning
capabilities in large language models (LLMs) by generating multiple
Chain-of-Thought (CoT) traces simultaneously. However, this approach introduces
significant computational inefficiency due to inter-trace redundancy -- our
analysis reveals that over 80% of parallel reasoning traces yield identical
final answers, representing substantial wasted computation. To address this
critical efficiency bottleneck, we propose DeepPrune, a novel framework that
enables efficient parallel scaling through dynamic pruning. Our method features
a specialized judge model trained with focal loss and oversampling techniques
to accurately predict answer equivalence from partial reasoning traces which
realizes 0.87 AUROC on equivalence prediction, combined with an online greedy
clustering algorithm that dynamically prunes redundant paths while preserving
answer diversity. Comprehensive evaluations across three challenging benchmarks
(AIME 2024, AIME 2025, and GPQA) and multiple reasoning models demonstrate that
DeepPrune achieves remarkable token reduction by over 80% compared to
conventional consensus sampling on most cases, while maintaining competitive
accuracy within 3 percentage points. Our work establishes a new standard for
efficient parallel reasoning, making high-performance reasoning more efficient.
Our code and data are here: https://deepprune.github.io/