FLARE: Raciocínio e Exploração Auxiliados por Lógica Fiel

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Autores: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Resumo

Abordagens modernas de Question Answering (QA) e Raciocínio baseadas em Modelos de Linguagem Grandes (LLMs) comumente utilizam técnicas de incentivo, como a Cadeia de Pensamento (CoT), assumindo que a geração resultante terá uma exploração e raciocínio mais granulares sobre o espaço e escopo da pergunta. No entanto, tais métodos enfrentam dificuldades em gerar saídas fiéis à cadeia de raciocínio intermediária produzida pelo modelo. No extremo oposto do espectro, métodos neuro-simbólicos como o Raciocínio Fiel CoT (F-CoT) propõem combinar LLMs com solucionadores simbólicos externos. Embora tais abordagens ostentem um alto grau de fidelidade, geralmente requerem um modelo treinado para geração de código e enfrentam dificuldades com tarefas que são ambíguas ou difíceis de formalizar estritamente. Apresentamos o Raciocínio e Exploração Assistidos por Lógica Fiel (\ours), uma abordagem interpretável inovadora para percorrer o espaço do problema usando decomposições de tarefas. Utilizamos o LLM para planejar uma solução, formalizamos suavemente a consulta em fatos e predicados usando um código de programação lógica e simulamos a execução desse código usando uma busca exaustiva de vários saltos sobre o espaço definido. Nosso método nos permite calcular a fidelidade do processo de raciocínio em relação ao código gerado e analisar as etapas da busca de vários saltos sem depender de solucionadores externos. Nossos métodos alcançam resultados de última geração em 7 de 9 benchmarks diversos de raciocínio. Também demonstramos que a fidelidade do modelo se correlaciona positivamente com o desempenho geral e demonstramos ainda que {\ours} permite identificar os fatores decisivos suficientes para e que levam à resposta correta com raciocínio ótimo durante a busca de vários saltos.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.