DeepPrune : Mise à l'échelle parallèle sans redondance inter-traces
DeepPrune: Parallel Scaling without Inter-trace Redundancy
October 9, 2025
papers.authors: Shangqing Tu, Yaxuan Li, Yushi Bai, Lei Hou, Juanzi Li
cs.AI
papers.abstract
Le parallélisme d'échelle est apparu comme un paradigme puissant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) en générant simultanément plusieurs traces de Chaîne de Pensée (CoT). Cependant, cette approche introduit une inefficacité computationnelle significative due à la redondance inter-traces — notre analyse révèle que plus de 80 % des traces de raisonnement parallèles produisent des réponses finales identiques, représentant un gaspillage substantiel de calcul. Pour résoudre ce goulot d'étranglement critique en matière d'efficacité, nous proposons DeepPrune, un cadre novateur qui permet un parallélisme d'échelle efficace grâce à l'élagage dynamique. Notre méthode intègre un modèle juge spécialisé, entraîné avec une fonction de perte focale et des techniques de suréchantillonnage, pour prédire avec précision l'équivalence des réponses à partir de traces partielles de raisonnement, atteignant un AUROC de 0,87 pour la prédiction d'équivalence, combiné à un algorithme de clustering glouton en ligne qui élimine dynamiquement les chemins redondants tout en préservant la diversité des réponses. Des évaluations approfondies sur trois benchmarks exigeants (AIME 2024, AIME 2025 et GPQA) et plusieurs modèles de raisonnement démontrent que DeepPrune réalise une réduction remarquable des tokens de plus de 80 % par rapport à l'échantillonnage par consensus conventionnel dans la plupart des cas, tout en maintenant une précision compétitive à moins de 3 points de pourcentage. Notre travail établit une nouvelle norme pour un raisonnement parallèle efficace, rendant le raisonnement haute performance plus efficient. Notre code et nos données sont disponibles ici : https://deepprune.github.io/
English
Parallel scaling has emerged as a powerful paradigm to enhance reasoning
capabilities in large language models (LLMs) by generating multiple
Chain-of-Thought (CoT) traces simultaneously. However, this approach introduces
significant computational inefficiency due to inter-trace redundancy -- our
analysis reveals that over 80% of parallel reasoning traces yield identical
final answers, representing substantial wasted computation. To address this
critical efficiency bottleneck, we propose DeepPrune, a novel framework that
enables efficient parallel scaling through dynamic pruning. Our method features
a specialized judge model trained with focal loss and oversampling techniques
to accurately predict answer equivalence from partial reasoning traces which
realizes 0.87 AUROC on equivalence prediction, combined with an online greedy
clustering algorithm that dynamically prunes redundant paths while preserving
answer diversity. Comprehensive evaluations across three challenging benchmarks
(AIME 2024, AIME 2025, and GPQA) and multiple reasoning models demonstrate that
DeepPrune achieves remarkable token reduction by over 80% compared to
conventional consensus sampling on most cases, while maintaining competitive
accuracy within 3 percentage points. Our work establishes a new standard for
efficient parallel reasoning, making high-performance reasoning more efficient.
Our code and data are here: https://deepprune.github.io/