FLARE: Ragionamento ed Esplorazione Assistiti dalla Logica Fedele

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Autori: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Abstract

Gli approcci moderni di Question Answering (QA) e Reasoning basati su Large Language Models (LLMs) utilizzano comunemente tecniche di prompting, come Chain-of-Thought (CoT), assumendo che la generazione risultante esplorerà in modo più dettagliato e ragionerà sullo spazio e l'ambito delle domande. Tuttavia, tali metodi faticano a generare output fedeli alla catena di ragionamento intermedia prodotta dal modello. All'altro estremo dello spettro, i metodi neuro-simbolici come Faithful CoT (F-CoT) propongono di combinare LLMs con risolutori simbolici esterni. Sebbene tali approcci vantino un alto grado di fedeltà, di solito richiedono un modello addestrato per la generazione di codice e faticano con compiti ambigui o difficili da formalizzare in modo rigoroso. Introduciamo Faithful Logic-Aided Reasoning and Exploration (\ours), un nuovo approccio interpretabile per attraversare lo spazio del problema utilizzando decomposizioni delle attività. Utilizziamo il LLM per pianificare una soluzione, formalizziamo in modo soft la query in fatti e predicati utilizzando un codice di programmazione logica e simuliamo l'esecuzione di quel codice utilizzando una ricerca esaustiva multi-hop nello spazio definito. Il nostro metodo ci consente di calcolare la fedeltà del processo di ragionamento rispetto al codice generato e di analizzare i passaggi della ricerca multi-hop senza dipendere da risolutori esterni. I nostri metodi raggiungono risultati SOTA su 7 su 9 diversi benchmark di ragionamento. Dimostriamo inoltre che la fedeltà del modello correla positivamente con le prestazioni complessive e dimostriamo ulteriormente che {\ours} consente di individuare i fattori decisivi sufficienti per e che portano alla risposta corretta con un ragionamento ottimale durante la ricerca multi-hop.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.