BoostStep: Повышение математических возможностей больших языковых моделей с помощью улучшенного одношагового рассуждения

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Авторы: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Аннотация

Современные крупные языковые модели (LLM) демонстрируют многообещающую производительность в решении сложных математических задач с использованием конвейера разделения и путем использования примеров обучения в контексте (ICL). Однако их потенциал для улучшения ограничен двумя критическими проблемами в предоставленных примерах ICL: несоответствием масштабов и последующей проблемой шума отрицательного эффекта. В частности, LLM способны к процессу разделения, но чаще всего терпят неудачу из-за неточного рассуждения на нескольких шагах завоевания, в то время как примеры ICL, полученные на уровне вопроса, иногда не содержат соответствующих шагов для конкретного сложного рассуждения. Более того, это разобщение может помешать правильному рассуждению из-за его несоответствия. В этом контексте мы сосредотачиваемся на улучшении качества рассуждения на каждом шаге и представляем BoostStep. BoostStep выравнивает масштаб между извлечением и рассуждением на уровне шага и предоставляет тесно связанные примеры ICL для каждого шага рассуждения с новой стратегией "попробовать сначала". BoostStep предоставляет более соответствующие примеры, чем грубая стратегия на уровне вопроса, улучшая качество рассуждения модели на каждом шаге постепенно. BoostStep - это общий и надежный метод улучшения рассуждения, который не только повышает производительность автономного рассуждения, но также без проблем интегрируется с методами поиска по дереву Монте-Карло (MCTS) для уточнения как генерации кандидатов, так и принятия решений. Количественно он улучшает GPT-4o и Qwen2.5-Math-72B на 3.6\% и 2.0% соответственно на различных математических бенчмарках, а в сочетании с MCTS - на 7.5%.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.