EquivPruner: 액션 프루닝을 통한 LLM 기반 검색의 효율성 및 품질 향상

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

저자: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

초록

대형 언어 모델(LLMs)은 탐색 알고리즘을 통해 복잡한 추론에서 뛰어난 성능을 보이지만, 현재의 전략은 의미적으로 동등한 단계의 중복 탐색으로 인해 토큰 소비가 과도한 문제가 자주 발생합니다. 기존의 의미적 유사성 방법은 수학적 추론과 같은 도메인 특정적 맥락에서 이러한 동등성을 정확히 식별하는 데 어려움을 겪습니다. 이를 해결하기 위해, 우리는 LLM 추론 탐색 중에 의미적으로 동등한 행동을 식별하고 제거하는 간단하면서도 효과적인 접근법인 EquivPruner를 제안합니다. 또한, 우리는 수학적 문장 동등성을 위한 첫 번째 데이터셋인 MathEquiv를 소개하며, 이를 통해 경량화된 동등성 탐지기를 학습할 수 있습니다. 다양한 모델과 작업에 걸친 광범위한 실험을 통해 EquivPruner가 토큰 소비를 크게 줄이고 탐색 효율성을 향상시키며 종종 추론 정확도를 높이는 것을 입증했습니다. 예를 들어, GSM8K에서 Qwen2.5-Math-7B-Instruct에 적용했을 때, EquivPruner는 토큰 소비를 48.1% 줄이는 동시에 정확도를 향상시켰습니다. 우리의 코드는 https://github.com/Lolo1222/EquivPruner에서 확인할 수 있습니다.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.