EquivPruner: Efficiëntie en kwaliteit verbeteren in LLM-gebaseerd zoeken via actiepruning

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Auteurs: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) blinken uit in complex redeneren door middel van zoekalgoritmen, maar huidige strategieën lijden vaak onder een enorme tokenconsumptie door overbodige verkenning van semantisch equivalente stappen. Bestaande methoden voor semantische gelijkenis hebben moeite om dergelijke equivalentie nauwkeurig te identificeren in domeinspecifieke contexten zoals wiskundig redeneren. Om dit aan te pakken, stellen we EquivPruner voor, een eenvoudige maar effectieve aanpak die semantisch equivalente acties identificeert en verwijdert tijdens het zoeken naar redeneringen in LLM's. We introduceren ook MathEquiv, de eerste dataset die we hebben gemaakt voor de equivalentie van wiskundige uitspraken, waarmee een lichtgewicht equivalentiedetector kan worden getraind. Uitgebreide experimenten met verschillende modellen en taken tonen aan dat EquivPruner de tokenconsumptie aanzienlijk vermindert, de zoekefficiëntie verbetert en vaak ook de nauwkeurigheid van het redeneren verhoogt. Bijvoorbeeld, wanneer toegepast op Qwen2.5-Math-7B-Instruct op GSM8K, verminderde EquivPruner de tokenconsumptie met 48,1\% terwijl ook de nauwkeurigheid werd verbeterd. Onze code is beschikbaar op https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.