EquivPruner: Steigerung von Effizienz und Qualität in LLM-basierter Suche durch Aktionsreduzierung

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Autoren: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeichnen sich durch komplexe Schlussfolgerungen mittels Suchalgorithmen aus, doch leiden aktuelle Strategien oft unter einem hohen Token-Verbrauch aufgrund redundanter Exploration semantisch äquivalenter Schritte. Bestehende Methoden zur semantischen Ähnlichkeit haben Schwierigkeiten, solche Äquivalenzen in domänenspezifischen Kontexten wie mathematischem Denken präzise zu identifizieren. Um dies zu adressieren, schlagen wir EquivPruner vor, einen einfachen, aber effektiven Ansatz, der semantisch äquivalente Aktionen während der LLM-Schlussfolgerungssuche identifiziert und entfernt. Wir stellen außerdem MathEquiv vor, den ersten von uns erstellten Datensatz für die Äquivalenz mathematischer Aussagen, der das Training eines leichtgewichtigen Äquivalenzdetektors ermöglicht. Umfangreiche Experimente über verschiedene Modelle und Aufgaben hinweg zeigen, dass EquivPruner den Token-Verbrauch erheblich reduziert, die Such effizienz verbessert und oft auch die Genauigkeit der Schlussfolgerungen erhöht. Beispielsweise reduzierte EquivPruner bei der Anwendung auf Qwen2.5-Math-7B-Instruct auf GSM8K den Token-Verbrauch um 48,1\% und verbesserte gleichzeitig die Genauigkeit. Unser Code ist verfügbar unter https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.