LiteSearch: Búsqueda en Árbol Eficaz para LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Autores: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Resumen

Investigaciones recientes sugieren que los algoritmos de búsqueda en árbol (por ejemplo, la Búsqueda en Árbol de Montecarlo) pueden mejorar drásticamente el rendimiento de los LLM en tareas complejas de razonamiento matemático. Sin embargo, estos algoritmos suelen requerir más de 10 veces los recursos computacionales del decodificado codicioso debido a estrategias de búsqueda ineficientes, lo que dificulta su implementación en aplicaciones prácticas. Este estudio introduce un novedoso algoritmo de búsqueda en árbol guiada con selección dinámica de nodos y cálculo del presupuesto de exploración a nivel de nodo (número máximo de hijos) para abordar este problema. Al considerar el progreso de la búsqueda hacia la respuesta final (historial) y la guía de una red de valor (futuro) entrenada sin anotaciones paso a paso, nuestro algoritmo selecciona iterativamente el nodo del árbol más prometedor antes de expandirlo dentro de los límites del presupuesto computacional asignado. Los experimentos realizados en los conjuntos de datos GSM8K y TabMWP demuestran que nuestro enfoque no solo ofrece un rendimiento competitivo, sino que también tiene costos computacionales significativamente más bajos en comparación con los métodos de referencia.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.