Zugriff auf GPT-4-Level Mathematische Olympiade-Lösungen über Monte Carlo Tree Self-refine mit LLaMa-3 8B

Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B

June 11, 2024

papers.authors: Di Zhang, Jiatong Li, Xiaoshui Huang, Dongzhan Zhou, Yuqiang Li, Wanli Ouyang

cs.AI

papers.abstract

Dieses Papier stellt den MCT Self-Refine (MCTSr) Algorithmus vor, eine innovative Integration von Large Language Models (LLMs) mit Monte Carlo Tree Search (MCTS), der darauf abzielt, die Leistung bei komplexen mathematischen Schlussfolgerungsaufgaben zu verbessern. Um den Herausforderungen der Genauigkeit und Zuverlässigkeit bei LLMs, insbesondere in strategischen und mathematischen Schlussfolgerungen, zu begegnen, nutzt MCTSr systematische Exploration und heuristische Selbstverfeinerungsmechanismen, um Entscheidungsrahmen innerhalb von LLMs zu verbessern. Der Algorithmus konstruiert einen Monte Carlo Suchbaum durch iterative Prozesse der Auswahl, Selbstverfeinerung, Selbstevaluierung und Rückpropagierung, wobei eine verbesserte obere Vertrauensgrenze (Upper Confidence Bound, UCB) Formel verwendet wird, um das Gleichgewicht zwischen Exploration und Ausbeutung zu optimieren. Umfangreiche Experimente zeigen die Wirksamkeit von MCTSr bei der Lösung von mathematischen Problemen auf Olympiade-Niveau, wobei die Erfolgsraten signifikant verbessert werden, und zwar über mehrere Datensätze hinweg, einschließlich GSM8K, GSM Hard, MATH sowie Olympiade-Benchmarks wie Math Odyssey, AIME und OlympiadBench. Die Studie fördert die Anwendung von LLMs in komplexen Schlussfolgerungsaufgaben und legt den Grundstein für zukünftige Integrationen von KI, um die Genauigkeit und Zuverlässigkeit bei LLM-gesteuerten Anwendungen zu verbessern.

English

This paper introduces the MCT Self-Refine (MCTSr) algorithm, an innovative integration of Large Language Models (LLMs) with Monte Carlo Tree Search (MCTS), designed to enhance performance in complex mathematical reasoning tasks. Addressing the challenges of accuracy and reliability in LLMs, particularly in strategic and mathematical reasoning, MCTSr leverages systematic exploration and heuristic self-refine mechanisms to improve decision-making frameworks within LLMs. The algorithm constructs a Monte Carlo search tree through iterative processes of Selection, self-refine, self-evaluation, and Backpropagation, utilizing an improved Upper Confidence Bound (UCB) formula to optimize the exploration-exploitation balance. Extensive experiments demonstrate MCTSr's efficacy in solving Olympiad-level mathematical problems, significantly improving success rates across multiple datasets, including GSM8K, GSM Hard, MATH, and Olympiad-level benchmarks, including Math Odyssey, AIME, and OlympiadBench. The study advances the application of LLMs in complex reasoning tasks and sets a foundation for future AI integration, enhancing decision-making accuracy and reliability in LLM-driven applications.