LiteSearch: Effiziente Baumsuche für LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Autoren: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Zusammenfassung

Neueste Forschungen legen nahe, dass Baum-Suchalgorithmen (z. B. Monte Carlo Tree Search) die Leistung von LLM bei komplexen mathematischen Denkaufgaben dramatisch steigern können. Sie erfordern jedoch oft mehr als zehnmal so viele Rechenressourcen wie gierige Dekodierung aufgrund verschwenderischer Suchstrategien, was ihre Anwendung in der Praxis erschwert. Diese Studie stellt einen neuartigen geleiteten Baum-Suchalgorithmus mit dynamischer Knotenauswahl und Berechnung des Erkundungsbudgets auf Knotenebene (maximale Anzahl von Kindern) vor, um dieses Problem anzugehen. Indem unser Algorithmus den Suchfortschritt in Richtung der endgültigen Antwort (Vergangenheit) und die Anleitung durch ein Wertnetzwerk (Zukunft) berücksichtigt, das ohne schrittweise Annotationen trainiert wurde, wählt er iterativ den vielversprechendsten Baumknoten aus, bevor er ihn innerhalb der Grenzen des zugewiesenen Rechenbudgets erweitert. Experimente, die auf den Datensätzen GSM8K und TabMWP durchgeführt wurden, zeigen, dass unser Ansatz nicht nur eine wettbewerbsfähige Leistung bietet, sondern auch deutlich niedrigere Rechenkosten im Vergleich zu Basismethoden aufweist.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.