EquivPruner: Mejorando la Eficiencia y Calidad en Búsquedas Basadas en LLM mediante la Poda de Acciones

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Autores: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) destacan en el razonamiento complejo mediante algoritmos de búsqueda, aunque las estrategias actuales suelen presentar un consumo masivo de tokens debido a la exploración redundante de pasos semánticamente equivalentes. Los métodos existentes de similitud semántica tienen dificultades para identificar con precisión dicha equivalencia en contextos específicos de dominio, como el razonamiento matemático. Para abordar este problema, proponemos EquivPruner, un enfoque simple pero efectivo que identifica y elimina acciones semánticamente equivalentes durante la búsqueda de razonamiento en LLMs. También presentamos MathEquiv, el primer conjunto de datos que creamos para la equivalencia de enunciados matemáticos, el cual permite entrenar un detector de equivalencia ligero. Experimentos exhaustivos en diversos modelos y tareas demuestran que EquivPruner reduce significativamente el consumo de tokens, mejorando la eficiencia de búsqueda y, en muchos casos, aumentando la precisión del razonamiento. Por ejemplo, al aplicarlo a Qwen2.5-Math-7B-Instruct en GSM8K, EquivPruner redujo el consumo de tokens en un 48.1\% y también mejoró la precisión. Nuestro código está disponible en https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.