LiteSearch: Busca em Árvore Eficaz para LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Autores: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Resumo

Pesquisas recentes sugerem que algoritmos de busca em árvore (por exemplo, Monte Carlo Tree Search) podem aumentar drasticamente o desempenho de LLM em tarefas complexas de raciocínio matemático. No entanto, eles frequentemente exigem mais de 10 vezes os recursos computacionais da decodificação gananciosa devido a estratégias de busca ineficientes, tornando-os difíceis de serem implementados em aplicações práticas. Este estudo apresenta um novo algoritmo de busca em árvore guiado com seleção dinâmica de nós e cálculo do orçamento de exploração de nível de nó (número máximo de filhos) para lidar com esse problema. Ao considerar o progresso da busca em direção à resposta final (histórico) e a orientação de uma rede de valores (futuro) treinada sem quaisquer anotações passo a passo, nosso algoritmo seleciona iterativamente o nó de árvore mais promissor antes de expandi-lo dentro dos limites do orçamento computacional alocado. Experimentos realizados nos conjuntos de dados GSM8K e TabMWP demonstram que nossa abordagem não apenas oferece desempenho competitivo, mas também possui custos computacionais significativamente mais baixos em comparação com os métodos de referência.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.