LiteSearch : Recherche arborescente efficace pour les modèles de langage de grande taille

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Auteurs: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Résumé

Les recherches récentes suggèrent que les algorithmes de recherche arborescente (par exemple, la recherche arborescente Monte Carlo) peuvent considérablement améliorer les performances des LLM sur des tâches complexes de raisonnement mathématique. Cependant, ils nécessitent souvent plus de 10 fois les ressources computationnelles du décodage glouton en raison de stratégies de recherche inefficaces, ce qui les rend difficiles à déployer dans des applications pratiques. Cette étude introduit un nouvel algorithme de recherche arborescente guidée avec sélection dynamique des nœuds et calcul du budget d'exploration au niveau des nœuds (nombre maximum d'enfants) pour résoudre ce problème. En prenant en compte l'avancement de la recherche vers la réponse finale (historique) et les indications d'un réseau de valeur (futur) entraîné sans aucune annotation étape par étape, notre algorithme sélectionne itérativement le nœud arborescent le plus prometteur avant de l'étendre dans les limites du budget computationnel alloué. Les expériences menées sur les ensembles de données GSM8K et TabMWP démontrent que notre approche offre non seulement des performances compétitives, mais bénéficie également de coûts computationnels significativement plus faibles par rapport aux méthodes de référence.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.