EquivPruner: Aumentando a Eficiência e a Qualidade na Busca Baseada em LLMs por meio de Poda de Ações

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Autores: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) se destacam no raciocínio complexo por meio de algoritmos de busca, mas as estratégias atuais frequentemente sofrem com o consumo massivo de tokens devido à exploração redundante de etapas semanticamente equivalentes. Os métodos existentes de similaridade semântica lutam para identificar com precisão essa equivalência em contextos específicos de domínio, como o raciocínio matemático. Para resolver isso, propomos o EquivPruner, uma abordagem simples, porém eficaz, que identifica e poda ações semanticamente equivalentes durante a busca de raciocínio em LLMs. Também introduzimos o MathEquiv, o primeiro conjunto de dados que criamos para equivalência de declarações matemáticas, que permite o treinamento de um detector de equivalência leve. Experimentos extensos em vários modelos e tarefas demonstram que o EquivPruner reduz significativamente o consumo de tokens, melhorando a eficiência da busca e, muitas vezes, aumentando a precisão do raciocínio. Por exemplo, quando aplicado ao Qwen2.5-Math-7B-Instruct no GSM8K, o EquivPruner reduziu o consumo de tokens em 48,1\% enquanto também melhorou a precisão. Nosso código está disponível em https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.