BoostStep: Het verbeteren van de wiskundige capaciteit van Grote Taalmodellen via verbeterde redenering in één stap.

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Auteurs: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Samenvatting

Geavanceerde grote taalmodellen (LLM's) tonen veelbelovende prestaties bij het oplossen van complexe wiskundige problemen met een verdeel-en-heerspijplijn en de hulp van in-context leren (ICL) voorbeelden. Hun potentieel voor verbetering wordt echter beperkt door twee kritieke problemen binnen hun ICL-voorbeelden: granulariteitsmismatch en het daaropvolgende negatieve-effectgeluidsprobleem. Specifiek zijn de LLM's in staat tot het verdeelproces, maar falen ze voornamelijk door onnauwkeurige redenering binnen enkele veroverstappen, terwijl de ICL-voorbeelden die op vraagniveau worden opgehaald soms relevante stappen missen voor een specifieke uitdagende redeneringsstap. Verder kan deze disconnectie de juiste redenering belemmeren vanwege de irrelevantie ervan. Met dit doel richten we ons op het verbeteren van de redeneerkwaliteit binnen elke stap en presenteren we BoostStep. BoostStep stemt de granulariteit af tussen het ophalen en redeneren op stapniveau en biedt zeer relevante ICL-voorbeelden voor elke redeneerstap met een nieuw 'eerste poging'-strategie. BoostStep biedt meer relevante voorbeelden dan de grove vraagniveaumethode, waardoor de redeneerkwaliteit van het model binnen elke stap gestaag verbetert. BoostStep is een algemene en robuuste redeneringsverbeterende methode die niet alleen de zelfstandige redeneerprestaties verbetert, maar ook naadloos integreert met Monte Carlo Tree Search-methoden (MCTS) om zowel kandidaatgeneratie als besluitvorming te verfijnen. Kwantitatief verbetert het GPT-4o en Qwen2.5-Math-72B respectievelijk met 3,6\% en 2,0\% op verschillende wiskundige benchmarks, en 7,5\% winst in combinatie met MCTS.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.