DeepPrune: Parallele Skalierung ohne Inter-Trace-Redundanz

DeepPrune: Parallel Scaling without Inter-trace Redundancy

October 9, 2025

papers.authors: Shangqing Tu, Yaxuan Li, Yushi Bai, Lei Hou, Juanzi Li

cs.AI

papers.abstract

Paralleles Skalieren hat sich als ein leistungsstarkes Paradigma etabliert, um die Fähigkeiten zur logischen Schlussfolgerung in großen Sprachmodellen (LLMs) zu verbessern, indem mehrere Chain-of-Thought (CoT)-Spuren gleichzeitig generiert werden. Dieser Ansatz führt jedoch zu erheblichen Rechenineffizienzen aufgrund von Redundanzen zwischen den Spuren – unsere Analyse zeigt, dass über 80 % der parallelen Denkspuren identische Endergebnisse liefern, was auf erhebliche Rechenverschwendung hinweist. Um diesen kritischen Effizienzengpass zu beheben, schlagen wir DeepPrune vor, ein neuartiges Framework, das effizientes paralleles Skalieren durch dynamisches Beschneiden ermöglicht. Unsere Methode umfasst ein spezialisiertes Bewertungsmodell, das mit Focal Loss und Oversampling-Techniken trainiert wurde, um die Äquivalenz von Antworten aus partiellen Denkspuren präzise vorherzusagen, was eine AUROC von 0,87 bei der Äquivalenzvorhersage erreicht. Dies wird kombiniert mit einem Online-Greedy-Clustering-Algorithmus, der redundante Pfade dynamisch beschneidet, während die Antwortvielfalt erhalten bleibt. Umfassende Bewertungen über drei anspruchsvolle Benchmarks (AIME 2024, AIME 2025 und GPQA) und mehrere Denkmodelle zeigen, dass DeepPrune eine bemerkenswerte Tokenreduktion von über 80 % im Vergleich zum herkömmlichen Konsensus-Sampling in den meisten Fällen erreicht, während die Genauigkeit innerhalb von 3 Prozentpunkten wettbewerbsfähig bleibt. Unsere Arbeit setzt einen neuen Standard für effizientes paralleles Denken und macht Hochleistungsdenken effizienter. Unser Code und unsere Daten sind hier verfügbar: https://deepprune.github.io/

English

Parallel scaling has emerged as a powerful paradigm to enhance reasoning capabilities in large language models (LLMs) by generating multiple Chain-of-Thought (CoT) traces simultaneously. However, this approach introduces significant computational inefficiency due to inter-trace redundancy -- our analysis reveals that over 80% of parallel reasoning traces yield identical final answers, representing substantial wasted computation. To address this critical efficiency bottleneck, we propose DeepPrune, a novel framework that enables efficient parallel scaling through dynamic pruning. Our method features a specialized judge model trained with focal loss and oversampling techniques to accurately predict answer equivalence from partial reasoning traces which realizes 0.87 AUROC on equivalence prediction, combined with an online greedy clustering algorithm that dynamically prunes redundant paths while preserving answer diversity. Comprehensive evaluations across three challenging benchmarks (AIME 2024, AIME 2025, and GPQA) and multiple reasoning models demonstrate that DeepPrune achieves remarkable token reduction by over 80% compared to conventional consensus sampling on most cases, while maintaining competitive accuracy within 3 percentage points. Our work establishes a new standard for efficient parallel reasoning, making high-performance reasoning more efficient. Our code and data are here: https://deepprune.github.io/