LiteSearch: Efficiënte Boomzoektoepassing voor LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Auteurs: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Samenvatting

Recent onderzoek suggereert dat boomzoekalgoritmen (bijv. Monte Carlo Tree Search) de prestaties van LLM's aanzienlijk kunnen verbeteren bij complexe wiskundige redeneertaken. Ze vereisen echter vaak meer dan 10 keer de rekenkracht van gretige decodering vanwege inefficiënte zoekstrategieën, wat hun inzet in praktische toepassingen bemoeilijkt. Deze studie introduceert een nieuw geleid boomzoekalgoritme met dynamische knooppuntselectie en berekening van het verkenningsbudget op knooppuntniveau (maximaal aantal kinderen) om dit probleem aan te pakken. Door rekening te houden met de voortgang van de zoektocht naar het uiteindelijke antwoord (geschiedenis) en de begeleiding van een waardenetwerk (toekomst) dat is getraind zonder stapsgewijze annotaties, selecteert ons algoritme iteratief het meest veelbelovende boomknooppunt voordat het wordt uitgebreid binnen de grenzen van het toegewezen rekenbudget. Experimenten uitgevoerd op de GSM8K- en TabMWP-datasets tonen aan dat onze aanpak niet alleen competitieve prestaties biedt, maar ook aanzienlijk lagere rekenkosten heeft in vergelijking met baseline-methoden.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.