EquivPruner: Повышение эффективности и качества поиска на основе крупных языковых моделей через обрезку действий

EquivPruner: Boosting Efficiency and Quality in LLM-Based Search via Action Pruning

May 22, 2025

Авторы: Jiawei Liu, Qisi Chen, Jianshu Zhang, Quan Liu, Defu Lian

cs.AI

Аннотация

Крупные языковые модели (LLMs) демонстрируют выдающиеся способности в сложных рассуждениях благодаря алгоритмам поиска, однако текущие стратегии часто страдают от чрезмерного потребления токенов из-за избыточного исследования семантически эквивалентных шагов. Существующие методы семантического сходства не справляются с точным определением такой эквивалентности в узкоспециализированных контекстах, таких как математические рассуждения. Для решения этой проблемы мы предлагаем EquivPruner — простой, но эффективный подход, который идентифицирует и удаляет семантически эквивалентные действия в процессе поиска рассуждений LLM. Мы также представляем MathEquiv, первый созданный нами набор данных для определения эквивалентности математических утверждений, который позволяет обучать легковесный детектор эквивалентности. Многочисленные эксперименты на различных моделях и задачах показывают, что EquivPruner значительно сокращает потребление токенов, повышая эффективность поиска и часто улучшая точность рассуждений. Например, при применении к модели Qwen2.5-Math-7B-Instruct на наборе данных GSM8K, EquivPruner сократил потребление токенов на 48,1\%, одновременно повысив точность. Наш код доступен по адресу https://github.com/Lolo1222/EquivPruner.

English

Large Language Models (LLMs) excel at complex reasoning through search algorithms, yet current strategies often suffer from massive token consumption due to redundant exploration of semantically equivalent steps. Existing semantic similarity methods struggle to accurately identify such equivalence in domain-specific contexts like mathematical reasoning. To address this, we propose EquivPruner, a simple yet effective approach that identifies and prunes semantically equivalent actions during LLM reasoning search. We also introduce MathEquiv, the first dataset we created for mathematical statement equivalence, which enables the training of a lightweight equivalence detector. Extensive experiments across various models and tasks demonstrate that EquivPruner significantly reduces token consumption, improving searching efficiency and often bolstering reasoning accuracy. For instance, when applied to Qwen2.5-Math-7B-Instruct on GSM8K, EquivPruner reduced token consumption by 48.1\% while also improving accuracy. Our code is available at https://github.com/Lolo1222/EquivPruner.