LiteSearch: Ricerca ad Albero Efficiente per LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Autori: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Abstract

Recenti ricerche suggeriscono che gli algoritmi di ricerca ad albero (ad esempio, il Monte Carlo Tree Search) possono migliorare drasticamente le prestazioni dei modelli linguistici di grandi dimensioni (LLM) in compiti complessi di ragionamento matematico. Tuttavia, spesso richiedono più di 10 volte le risorse computazionali rispetto al decoding greedy a causa di strategie di ricerca inefficienti, rendendoli difficili da implementare in applicazioni pratiche. Questo studio introduce un innovativo algoritmo di ricerca ad albero guidato con selezione dinamica dei nodi e calcolo del budget di esplorazione a livello di nodo (numero massimo di figli) per affrontare questo problema. Considerando il progresso della ricerca verso la risposta finale (storia) e la guida di una rete di valore (futuro) addestrata senza annotazioni passo-passo, il nostro algoritmo seleziona iterativamente il nodo dell'albero più promettente prima di espanderlo entro i limiti del budget computazionale allocato. Gli esperimenti condotti sui dataset GSM8K e TabMWP dimostrano che il nostro approccio non solo offre prestazioni competitive, ma comporta anche costi computazionali significativamente inferiori rispetto ai metodi di riferimento.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.