BoostStep : Améliorer la capacité mathématique des grands modèles de langage via un raisonnement amélioré en une seule étape.

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Auteurs: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) de pointe démontrent des performances prometteuses dans la résolution de problèmes mathématiques complexes avec un pipeline de diviser-pour-régner et l'assistance d'exemples d'apprentissage en contexte (ICL). Cependant, leur potentiel d'amélioration est limité par deux problèmes critiques au sein de leurs exemples ICL : le désaccord de granularité et le problème de bruit d'effet négatif qui en découle. Plus précisément, les LLMs sont capables du processus de division mais échouent principalement en raison de raisonnements inexactes dans quelques étapes de conquête, tandis que les exemples ICL récupérés parfois manquent d'étapes pertinentes pour une étape de raisonnement difficile spécifique. De plus, ce désaccord peut entraver le raisonnement correct en raison de son manque de pertinence. Dans cette optique, nous nous concentrons sur l'amélioration de la qualité du raisonnement à chaque étape et présentons BoostStep. BoostStep aligne la granularité entre la récupération et le raisonnement sur une base d'étape, et fournit des exemples ICL hautement pertinents pour chaque étape de raisonnement avec une nouvelle stratégie de « premier essai ». BoostStep fournit des exemples plus pertinents que la stratégie grossière basée sur les questions, améliorant ainsi progressivement la qualité du raisonnement du modèle à chaque étape. BoostStep est une méthode d'amélioration du raisonnement générale et robuste qui non seulement améliore les performances de raisonnement autonomes, mais s'intègre également de manière transparente avec les méthodes de recherche arborescente Monte Carlo (MCTS) pour affiner à la fois la génération de candidats et la prise de décision. Quantitativement, il améliore GPT-4o et Qwen2.5-Math-72B de 3,6 % et 2,0 % respectivement sur divers benchmarks mathématiques, et de 7,5 % combiné avec MCTS.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.