BoostStep: Steigerung der mathematischen Fähigkeiten großer Sprachmodelle durch verbessertes Einzelschritt-Argumentieren.

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning

January 6, 2025

Autoren: Beichen Zhang, Yuhong Liu, Xiaoyi Dong, Yuhang Zang, Pan Zhang, Haodong Duan, Yuhang Cao, Dahua Lin, Jiaqi Wang

cs.AI

Zusammenfassung

Spitzen-Large-Language-Modelle (LLMs) zeigen vielversprechende Leistungen bei der Lösung komplexer mathematischer Probleme mit einem Teile-und-Herrsche-Pipeline und der Unterstützung von In-Context-Learning (ICL)-Beispielen. Ihr Verbesserungspotenzial wird jedoch durch zwei kritische Probleme innerhalb ihrer ICL-Beispiele begrenzt: Granularitätsungleichgewicht und das daraus resultierende Problem des negativen Effektrauschens. Konkret sind die LLMs in der Lage, den Teilungsprozess durchzuführen, scheitern jedoch größtenteils an ungenauer Argumentation innerhalb weniger Eroberungsschritte, während die in Frage gestellten ICL-Beispiele manchmal relevante Schritte für einen spezifischen herausfordernden Argumentationsschritt vermissen lassen. Diese Diskrepanz kann die korrekte Argumentation aufgrund ihrer Irrelevanz behindern. Zu diesem Zweck konzentrieren wir uns darauf, die Argumentationsqualität innerhalb jedes Schrittes zu verbessern und präsentieren BoostStep. BoostStep gleicht die Granularität zwischen dem Abrufen und Argumentieren auf Schrittebene an und bietet hoch relevante ICL-Beispiele für jeden Argumentationsschritt mit einer neuartigen "Erstversuch"-Strategie. BoostStep liefert mehr relevante Beispiele als die grobe Frage-Strategie und verbessert so kontinuierlich die Argumentationsqualität des Modells innerhalb jedes Schrittes. BoostStep ist eine allgemeine und robuste Methode zur Verbesserung der Argumentation, die nicht nur die eigenständige Argumentationsleistung verbessert, sondern auch nahtlos mit Monte-Carlo-Baumsuchmethoden (MCTS) integriert wird, um sowohl die Kandidatengenerierung als auch die Entscheidungsfindung zu verfeinern. Quantitativ verbessert es GPT-4o und Qwen2.5-Math-72B jeweils um 3,6\% bzw. 2,0\% auf verschiedenen mathematischen Benchmarks und erzielt zusammen mit MCTS einen Gewinn von 7,5\%.

English

Cutting-edge large language models (LLMs) demonstrate promising performance in solving complex math problems with a divide-and-conquer pipeline and the assistance of in-context learning (ICL) examples. However, their potential for improvement is limited by two critical problems within their ICL examples: granularity-mismatch and the ensuing negative-effect noise problem. Specifically, the LLMs are capable of the dividing process yet mostly failed by inaccurate reasoning within a few conquer steps, while the ICL examples retrieved in question-grained sometimes lack relevant steps for a specific challenging reasoning step. Further, this disconnect may hinder the correct reasoning due to its irrelevance. To this end, we focus on improving the reasoning quality within each step and present BoostStep. BoostStep aligns the granularity between the retrieving and reasoning on step grained, and provides highly related ICL examples for each reasoning step with a novel `first-try' strategy. BoostStep provides more relevant examples than the coarse question-grained strategy, enhancing the model reasoning quality within each step steadily. BoostStep is a general and robust reasoning-enhancing method that not only improves standalone reasoning performance but also integrates seamlessly with Monte Carlo Tree Search methods (MCTS) to refine both candidate generation and decision-making. Quantitatively, it improves GPT-4o and Qwen2.5-Math-72B by 3.6\% and 2.0\% respectively on various mathematical benchmarks, and 7.5\% gain combined with MCTS.