Das Zusammenführen großer Sprachmodelle mit prozessbelohnungsgesteuerter Baumstruktursuche für eine bessere komplexe Argumentation

Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning

December 20, 2024

Autoren: Sungjin Park, Xiao Liu, Yeyun Gong, Edward Choi

cs.AI

Zusammenfassung

Trotz der jüngsten Fortschritte bei großen Sprachmodellen haben Open-Source-Modelle oft Schwierigkeiten, bei komplexen Denkaufgaben konsistent gute Leistungen zu erbringen. Bestehende Ensemble-Methoden, ob auf Token- oder Ausgabeebene angewendet, scheitern daran, diese Herausforderungen anzugehen. Als Antwort präsentieren wir Language Model Ensemble with Monte Carlo Tree Search (LE-MCTS), ein neuartiges Framework zur Prozess-Ensemblebildung von Sprachmodellen. LE-MCTS formuliert schrittweises Denken mit einem Ensemble von Sprachmodellen als Markow-Entscheidungsprozess. In diesem Rahmen stellen Zustände intermediäre Denkpfade dar, während Aktionen darin bestehen, den nächsten Denkschritt zu generieren, indem eines der Sprachmodelle aus einem vordefinierten Pool ausgewählt wird. Geführt von einem prozessbasierten Belohnungsmodell durchsucht LE-MCTS die Denkschritte, die von verschiedenen Sprachmodellen generiert werden, und identifiziert die genaueste Denkfolge. Experimentelle Ergebnisse zu fünf mathematischen Denkaufgaben zeigen, dass unser Ansatz sowohl einzelne Sprachmodell-Decodierungsalgorithmen als auch Sprachmodell-Ensemble-Methoden übertrifft. Bemerkenswert verbessert LE-MCTS die Leistung um 3,6 % bzw. 4,3 % auf den MATH- und MQA-Datensätzen und unterstreicht damit seine Wirksamkeit bei der Lösung komplexer Denkaufgaben.

English

Despite recent advances in large language models, open-source models often struggle to consistently perform well on complex reasoning tasks. Existing ensemble methods, whether applied at the token or output levels, fail to address these challenges. In response, we present Language model Ensemble with Monte Carlo Tree Search (LE-MCTS), a novel framework for process-level ensembling of language models. LE-MCTS formulates step-by-step reasoning with an ensemble of language models as a Markov decision process. In this framework, states represent intermediate reasoning paths, while actions consist of generating the next reasoning step using one of the language models selected from a predefined pool. Guided by a process-based reward model, LE-MCTS performs a tree search over the reasoning steps generated by different language models, identifying the most accurate reasoning chain. Experimental results on five mathematical reasoning benchmarks demonstrate that our approach outperforms both single language model decoding algorithms and language model ensemble methods. Notably, LE-MCTS improves performance by 3.6% and 4.3% on the MATH and MQA datasets, respectively, highlighting its effectiveness in solving complex reasoning problems.