FLARE : Raisonnement et Exploration Assistés par la Logique Fidèles

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Auteurs: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Résumé

Les approches modernes de Question Answering (QA) et de raisonnement basées sur les Grands Modèles de Langage (GML) utilisent couramment des techniques de sollicitation, telles que la Chaîne de Pensée (CoT), en supposant que la génération résultante explorera de manière plus granulaire l'espace et la portée de la question. Cependant, de telles méthodes ont du mal à générer des sorties fidèles à la chaîne intermédiaire de raisonnement produite par le modèle. À l'autre extrémité du spectre, les méthodes neuro-symboliques telles que Faithful CoT (F-CoT) proposent de combiner les GML avec des solveurs symboliques externes. Bien que de telles approches se vantent d'un haut degré de fidélité, elles nécessitent généralement un modèle entraîné pour la génération de code et ont du mal avec les tâches ambiguës ou difficiles à formaliser strictement. Nous introduisons Faithful Logic-Aided Reasoning and Exploration (FLARE), une nouvelle approche interprétable pour parcourir l'espace du problème en utilisant des décompositions de tâches. Nous utilisons le GML pour planifier une solution, formalisons de manière souple la requête en faits et prédicats en utilisant un code de programmation logique et simulons l'exécution de ce code en effectuant une recherche exhaustive multi-sauts sur l'espace défini. Notre méthode nous permet de calculer la fidélité du processus de raisonnement par rapport au code généré et d'analyser les étapes de la recherche multi-sauts sans recourir à des solveurs externes. Nos méthodes obtiennent des résultats de pointe sur 7 des 9 benchmarks de raisonnement divers. Nous montrons également que la fidélité du modèle est corrélée positivement avec la performance globale et démontrons en outre que FLARE permet de cibler les facteurs décisifs suffisants pour parvenir à la réponse correcte avec un raisonnement optimal lors de la recherche multi-sauts.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.