PathFinder: Busca Guiada sobre Caminhos de Raciocínio em Múltiplos Passos

PathFinder: Guided Search over Multi-Step Reasoning Paths

December 8, 2023

Autores: Olga Golovneva, Sean O'Brien, Ramakanth Pasunuru, Tianlu Wang, Luke Zettlemoyer, Maryam Fazel-Zarandi, Asli Celikyilmaz

cs.AI

Resumo

Com os recentes avanços em modelos de linguagem de grande escala, métodos como o prompting de cadeia de pensamento para eliciar cadeias de raciocínio têm demonstrado melhorar os resultados em tarefas de raciocínio. No entanto, tarefas que exigem múltiplos passos de raciocínio ainda representam desafios significativos para os modelos state-of-the-art. Inspirados pelo algoritmo de busca em feixe, propomos o PathFinder, uma abordagem de geração de caminhos de raciocínio baseada em busca em árvore. Ele aprimora a ramificação diversificada e o raciocínio multi-hop por meio da integração de decodificação dinâmica, possibilitada por métodos e parâmetros de amostragem variados. Utilizando raciocínio restrito, o PathFinder integra novas restrições de qualidade, poda e métodos de exploração para melhorar a eficiência e a qualidade da geração. Além disso, inclui funcionalidades de pontuação e classificação para aprimorar a seleção de candidatos. Nossa abordagem supera as linhas de base competitivas em três tarefas complexas de raciocínio aritmético e de senso comum em média 6%. Nosso modelo generaliza bem para cadeias de raciocínio mais longas e não vistas, refletindo complexidades semelhantes à busca em feixe com grandes fatores de ramificação.

English

With recent advancements in large language models, methods like chain-of-thought prompting to elicit reasoning chains have been shown to improve results on reasoning tasks. However, tasks that require multiple steps of reasoning still pose significant challenges to state-of-the-art models. Drawing inspiration from the beam search algorithm, we propose PathFinder, a tree-search-based reasoning path generation approach. It enhances diverse branching and multi-hop reasoning through the integration of dynamic decoding, enabled by varying sampling methods and parameters. Using constrained reasoning, PathFinder integrates novel quality constraints, pruning, and exploration methods to enhance the efficiency and the quality of generation. Moreover, it includes scoring and ranking features to improve candidate selection. Our approach outperforms competitive baselines on three complex arithmetic and commonsense reasoning tasks by 6% on average. Our model generalizes well to longer, unseen reasoning chains, reflecting similar complexities to beam search with large branching factors.