EquivPruner: Migliorare Efficienza e Qualità nella Ricerca Basata su LLM attraverso la Potatura delle Azioni

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Autori: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Abstract

I Large Language Model (LLM) eccellono nel ragionamento complesso attraverso algoritmi di ricerca, ma le strategie attuali spesso soffrono di un enorme consumo di token a causa dell'esplorazione ridondante di passaggi semanticamente equivalenti. I metodi esistenti di similarità semantica faticano a identificare con precisione tale equivalenza in contesti specifici come il ragionamento matematico. Per affrontare questo problema, proponiamo EquivPruner, un approccio semplice ma efficace che identifica e pota le azioni semanticamente equivalenti durante la ricerca di ragionamento nei LLM. Introduciamo inoltre MathEquiv, il primo dataset da noi creato per l'equivalenza di enunciati matematici, che consente l'addestramento di un rilevatore di equivalenza leggero. Esperimenti estesi su vari modelli e compiti dimostrano che EquivPruner riduce significativamente il consumo di token, migliorando l'efficienza della ricerca e spesso aumentando l'accuratezza del ragionamento. Ad esempio, applicato a Qwen2.5-Math-7B-Instruct su GSM8K, EquivPruner ha ridotto il consumo di token del 48,1\% migliorando anche l'accuratezza. Il nostro codice è disponibile all'indirizzo https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.