EquivPruner: アクションプルーニングによるLLMベース検索の効率性と品質の向上

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

著者: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

要旨

大規模言語モデル（LLMs）は、探索アルゴリズムを通じて複雑な推論に優れているが、現在の戦略では、意味的に等価なステップの冗長な探索により、大量のトークン消費が生じることが多い。既存の意味的類似性手法は、数学的推論のようなドメイン固有の文脈において、その等価性を正確に識別するのに苦労している。この問題に対処するため、我々はEquivPrunerを提案する。これは、LLMの推論探索中に意味的に等価なアクションを識別し、剪定するシンプルかつ効果的なアプローチである。また、数学的ステートメントの等価性を評価するための最初のデータセットであるMathEquivを導入し、軽量な等価性検出器の訓練を可能にした。様々なモデルとタスクにわたる広範な実験により、EquivPrunerがトークン消費を大幅に削減し、探索効率を向上させ、しばしば推論精度を高めることが実証された。例えば、GSM8KにおいてQwen2.5-Math-7B-Instructに適用した場合、EquivPrunerはトークン消費を48.1％削減し、精度も向上させた。我々のコードはhttps://github.com/Lolo1222/EquivPrunerで公開されている。

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.