PathFinder: Поиск с управлением по многошаговым траекториям рассуждений

PathFinder: Guided Search over Multi-Step Reasoning Paths

December 8, 2023

Авторы: Olga Golovneva, Sean O'Brien, Ramakanth Pasunuru, Tianlu Wang, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Аннотация

С учетом последних достижений в области крупных языковых моделей, методы, такие как последовательное рассуждение (chain-of-thought prompting), направленные на выявление цепочек логических рассуждений, продемонстрировали улучшение результатов в задачах, требующих логического мышления. Однако задачи, требующие многошагового рассуждения, по-прежнему представляют значительные трудности для современных моделей. Вдохновленные алгоритмом поиска по лучу (beam search), мы предлагаем PathFinder — подход к генерации путей рассуждений, основанный на поиске по дереву. Этот метод улучшает разнообразие ветвления и многошаговое рассуждение за счет интеграции динамического декодирования, реализуемого с помощью различных методов и параметров выборки. Используя ограниченное рассуждение, PathFinder включает новые ограничения качества, методы обрезки и исследования для повышения эффективности и качества генерации. Кроме того, он включает функции оценки и ранжирования для улучшения выбора кандидатов. Наш подход превосходит конкурирующие базовые методы на трех сложных задачах арифметического и здравого рассуждения в среднем на 6%. Наша модель хорошо обобщается на более длинные, ранее не встречавшиеся цепочки рассуждений, отражая схожую сложность с поиском по лучу при больших коэффициентах ветвления.

English

With recent advancements in large language models, methods like chain-of-thought prompting to elicit reasoning chains have been shown to improve results on reasoning tasks. However, tasks that require multiple steps of reasoning still pose significant challenges to state-of-the-art models. Drawing inspiration from the beam search algorithm, we propose PathFinder, a tree-search-based reasoning path generation approach. It enhances diverse branching and multi-hop reasoning through the integration of dynamic decoding, enabled by varying sampling methods and parameters. Using constrained reasoning, PathFinder integrates novel quality constraints, pruning, and exploration methods to enhance the efficiency and the quality of generation. Moreover, it includes scoring and ranking features to improve candidate selection. Our approach outperforms competitive baselines on three complex arithmetic and commonsense reasoning tasks by 6% on average. Our model generalizes well to longer, unseen reasoning chains, reflecting similar complexities to beam search with large branching factors.