LiteSearch: эффективный поиск дерева для LLM

LiteSearch: Efficacious Tree Search for LLM

June 29, 2024

Авторы: Ante Wang, Linfeng Song, Ye Tian, Baolin Peng, Dian Yu, Haitao Mi, Jinsong Su, Dong Yu

cs.AI

Аннотация

Недавние исследования показывают, что алгоритмы поиска дерева (например, Монте-Карло поиск дерева) могут значительно улучшить производительность LLM на сложных математических задачах рассуждения. Однако они часто требуют более чем в 10 раз больше вычислительных ресурсов по сравнению с жадным декодированием из-за неэффективных стратегий поиска, что затрудняет их применение в практических приложениях. В данном исследовании представлен новый алгоритм направленного поиска дерева с динамическим выбором узла и расчетом бюджета исследования на уровне узла (максимальное количество потомков) для решения этой проблемы. Учитывая прогресс поиска к конечному ответу (история) и руководство от сети значений (будущее), обученной без шаговых аннотаций, наш алгоритм итеративно выбирает наиболее перспективный узел дерева перед его расширением в пределах выделенного вычислительного бюджета. Эксперименты, проведенные на наборах данных GSM8K и TabMWP, показывают, что наш подход не только обеспечивает конкурентоспособную производительность, но также имеет значительно более низкие вычислительные затраты по сравнению с базовыми методами.

English

Recent research suggests that tree search algorithms (e.g. Monte Carlo Tree Search) can dramatically boost LLM performance on complex mathematical reasoning tasks. However, they often require more than 10 times the computational resources of greedy decoding due to wasteful search strategies, making them difficult to be deployed in practical applications. This study introduces a novel guided tree search algorithm with dynamic node selection and node-level exploration budget (maximum number of children) calculation to tackle this issue. By considering the search progress towards the final answer (history) and the guidance from a value network (future) trained without any step-wise annotations, our algorithm iteratively selects the most promising tree node before expanding it within the boundaries of the allocated computational budget. Experiments conducted on the GSM8K and TabMWP datasets demonstrate that our approach not only offers competitive performance but also enjoys significantly lower computational costs compared to baseline methods.