FLARE: Treue Logik-unterstützte Argumentation und Exploration.

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Autoren: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Zusammenfassung

Moderne Frage-Antwort (QA) und Begründungsansätze basierend auf Großen Sprachmodellen (LLMs) verwenden häufig Anregungstechniken wie Chain-of-Thought (CoT), in der Annahme, dass die resultierende Generierung eine detailliertere Exploration und Begründung des Fragebereichs und -umfangs aufweisen wird. Allerdings haben solche Methoden Schwierigkeiten bei der Generierung von Ausgaben, die dem Zwischenschritt der Begründung, der vom Modell erzeugt wurde, treu bleiben. Auf der anderen Seite des Spektrums schlagen neuro-symbolische Methoden wie Faithful CoT (F-CoT) vor, LLMs mit externen symbolischen Lösungsmitteln zu kombinieren. Obwohl solche Ansätze einen hohen Grad an Treue aufweisen, erfordern sie in der Regel ein für die Codegenerierung trainiertes Modell und haben Schwierigkeiten mit Aufgaben, die mehrdeutig oder schwer streng zu formalisieren sind. Wir stellen Faithful Logic-Aided Reasoning and Exploration (FLARE) vor, einen neuartigen interpretierbaren Ansatz zur Durchquerung des Problemraums unter Verwendung von Aufgabendekompositionen. Wir verwenden das LLM, um eine Lösung zu planen, die Abfrage in Fakten und Prädikate mithilfe eines logischen Programmiercodes weich zu formalisieren und simulieren die Ausführung dieses Codes mittels einer erschöpfenden Mehrfachsprungsuche über den definierten Raum. Unsere Methode ermöglicht es uns, die Treue des Begründungsprozesses hinsichtlich des generierten Codes zu berechnen und die Schritte der Mehrfachsprungsuche zu analysieren, ohne auf externe Solver angewiesen zu sein. Unsere Methoden erzielen SOTA-Ergebnisse bei 7 von 9 verschiedenen Begründungstests. Wir zeigen auch, dass die Modelltreue positiv mit der Gesamtleistung korreliert und zeigen weiterhin, dass FLARE es ermöglicht, die entscheidenden Faktoren zu lokalisieren, die für die korrekte Antwort mit optimaler Begründung während der Mehrfachsprungsuche ausreichend sind und dazu führen.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.