EquivPruner : Amélioration de l'efficacité et de la qualité dans la recherche basée sur les LLM via l'élagage d'actions

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Auteurs: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) excellent dans le raisonnement complexe grâce à des algorithmes de recherche, mais les stratégies actuelles souffrent souvent d'une consommation massive de tokens en raison de l'exploration redondante d'étapes sémantiquement équivalentes. Les méthodes existantes de similarité sémantique peinent à identifier avec précision une telle équivalence dans des contextes spécifiques comme le raisonnement mathématique. Pour remédier à cela, nous proposons EquivPruner, une approche simple mais efficace qui identifie et élimine les actions sémantiquement équivalentes lors de la recherche de raisonnement des LLMs. Nous introduisons également MathEquiv, le premier ensemble de données que nous avons créé pour l'équivalence des énoncés mathématiques, permettant l'entraînement d'un détecteur d'équivalence léger. Des expériences approfondies sur divers modèles et tâches démontrent qu'EquivPruner réduit significativement la consommation de tokens, améliorant l'efficacité de la recherche et souvent renforçant la précision du raisonnement. Par exemple, lorsqu'il est appliqué à Qwen2.5-Math-7B-Instruct sur GSM8K, EquivPruner a réduit la consommation de tokens de 48,1 % tout en améliorant la précision. Notre code est disponible à l'adresse https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.