DeepPrune: Scalabilità Parallela senza Ridondanza Inter-traccia

DeepPrune: Parallel Scaling without Inter-trace Redundancy

October 9, 2025

Autori: Shangqing Tu, Yaxuan Li, Yushi Bai, Lei Hou, Juanzi Li

cs.AI

Abstract

Lo scaling parallelo è emerso come un paradigma potente per migliorare le capacità di ragionamento nei grandi modelli linguistici (LLMs) generando simultaneamente più tracce di Chain-of-Thought (CoT). Tuttavia, questo approccio introduce una significativa inefficienza computazionale a causa della ridondanza tra le tracce: la nostra analisi rivela che oltre l'80% delle tracce di ragionamento parallelo produce risposte finali identiche, rappresentando un notevole spreco di calcolo. Per affrontare questo collo di bottiglia critico in termini di efficienza, proponiamo DeepPrune, un nuovo framework che abilita uno scaling parallelo efficiente attraverso il pruning dinamico. Il nostro metodo include un modello giudice specializzato, addestrato con focal loss e tecniche di oversampling, per prevedere accuratamente l'equivalenza delle risposte da tracce di ragionamento parziali, raggiungendo un AUROC di 0.87 nella previsione di equivalenza, combinato con un algoritmo di clustering greedy online che elimina dinamicamente i percorsi ridondanti preservando la diversità delle risposte. Valutazioni approfondite su tre benchmark impegnativi (AIME 2024, AIME 2025 e GPQA) e su più modelli di ragionamento dimostrano che DeepPrune ottiene una riduzione dei token di oltre l'80% rispetto al campionamento consensuale convenzionale nella maggior parte dei casi, mantenendo un'accuratezza competitiva entro 3 punti percentuali. Il nostro lavoro stabilisce un nuovo standard per il ragionamento parallelo efficiente, rendendo il ragionamento ad alte prestazioni più efficiente. Il nostro codice e i dati sono disponibili qui: https://deepprune.github.io/

English

Parallel scaling has emerged as a powerful paradigm to enhance reasoning capabilities in large language models (LLMs) by generating multiple Chain-of-Thought (CoT) traces simultaneously. However, this approach introduces significant computational inefficiency due to inter-trace redundancy -- our analysis reveals that over 80% of parallel reasoning traces yield identical final answers, representing substantial wasted computation. To address this critical efficiency bottleneck, we propose DeepPrune, a novel framework that enables efficient parallel scaling through dynamic pruning. Our method features a specialized judge model trained with focal loss and oversampling techniques to accurately predict answer equivalence from partial reasoning traces which realizes 0.87 AUROC on equivalence prediction, combined with an online greedy clustering algorithm that dynamically prunes redundant paths while preserving answer diversity. Comprehensive evaluations across three challenging benchmarks (AIME 2024, AIME 2025, and GPQA) and multiple reasoning models demonstrate that DeepPrune achieves remarkable token reduction by over 80% compared to conventional consensus sampling on most cases, while maintaining competitive accuracy within 3 percentage points. Our work establishes a new standard for efficient parallel reasoning, making high-performance reasoning more efficient. Our code and data are here: https://deepprune.github.io/