DeepPrune: Escalonamento Paralelo sem Redundância Inter-traço

DeepPrune: Parallel Scaling without Inter-trace Redundancy

October 9, 2025

Autores: Shangqing Tu, Yaxuan Li, Yushi Bai, Lei Hou, Juanzi Li

cs.AI

Resumo

O escalonamento paralelo emergiu como um paradigma poderoso para aprimorar as capacidades de raciocínio em grandes modelos de linguagem (LLMs) ao gerar múltiplos rastros de Chain-of-Thought (CoT) simultaneamente. No entanto, essa abordagem introduz uma ineficiência computacional significativa devido à redundância entre os rastros — nossa análise revela que mais de 80% dos rastros de raciocínio paralelos produzem respostas finais idênticas, representando um desperdício substancial de computação. Para abordar esse gargalo crítico de eficiência, propomos o DeepPrune, uma estrutura inovadora que permite o escalonamento paralelo eficiente por meio de poda dinâmica. Nosso método inclui um modelo juiz especializado treinado com focal loss e técnicas de oversampling para prever com precisão a equivalência de respostas a partir de rastros parciais de raciocínio, alcançando 0,87 de AUROC na previsão de equivalência, combinado com um algoritmo de clustering guloso online que poda dinamicamente caminhos redundantes enquanto preserva a diversidade de respostas. Avaliações abrangentes em três benchmarks desafiadores (AIME 2024, AIME 2025 e GPQA) e múltiplos modelos de raciocínio demonstram que o DeepPrune alcança uma redução impressionante de mais de 80% nos tokens em comparação com a amostragem de consenso convencional na maioria dos casos, mantendo uma precisão competitiva dentro de 3 pontos percentuais. Nosso trabalho estabelece um novo padrão para o raciocínio paralelo eficiente, tornando o raciocínio de alto desempenho mais eficiente. Nosso código e dados estão disponíveis em: https://deepprune.github.io/

English

Parallel scaling has emerged as a powerful paradigm to enhance reasoning capabilities in large language models (LLMs) by generating multiple Chain-of-Thought (CoT) traces simultaneously. However, this approach introduces significant computational inefficiency due to inter-trace redundancy -- our analysis reveals that over 80% of parallel reasoning traces yield identical final answers, representing substantial wasted computation. To address this critical efficiency bottleneck, we propose DeepPrune, a novel framework that enables efficient parallel scaling through dynamic pruning. Our method features a specialized judge model trained with focal loss and oversampling techniques to accurately predict answer equivalence from partial reasoning traces which realizes 0.87 AUROC on equivalence prediction, combined with an online greedy clustering algorithm that dynamically prunes redundant paths while preserving answer diversity. Comprehensive evaluations across three challenging benchmarks (AIME 2024, AIME 2025, and GPQA) and multiple reasoning models demonstrate that DeepPrune achieves remarkable token reduction by over 80% compared to conventional consensus sampling on most cases, while maintaining competitive accuracy within 3 percentage points. Our work establishes a new standard for efficient parallel reasoning, making high-performance reasoning more efficient. Our code and data are here: https://deepprune.github.io/