FLARE: Razonamiento y Exploración Asistidos por Lógica Fieles

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Autores: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Resumen

Los enfoques modernos de Preguntas y Respuestas (QA) y Razonamiento basados en Modelos de Lenguaje Grandes (LLMs) comúnmente utilizan técnicas de generación de texto, como Cadena de Pensamiento (CoT), asumiendo que la generación resultante tendrá una exploración y razonamiento más detallados sobre el espacio y alcance de las preguntas. Sin embargo, dichos métodos tienen dificultades para generar salidas fieles al proceso intermedio de razonamiento producido por el modelo. En el otro extremo del espectro, los métodos neuro-simbólicos como Cadena de Pensamiento Fiel (F-CoT) proponen combinar LLMs con solucionadores simbólicos externos. Si bien tales enfoques presumen un alto grado de fidelidad, generalmente requieren un modelo entrenado para generación de código y tienen dificultades con tareas que son ambiguas o difíciles de formalizar estrictamente. Introducimos Razonamiento y Exploración Asistidos por Lógica Fiel (\ours), un enfoque novedoso e interpretable para atravesar el espacio del problema utilizando descomposiciones de tareas. Utilizamos el LLM para planificar una solución, formalizamos suavemente la consulta en hechos y predicados utilizando un código de programación lógica y simulamos la ejecución de ese código mediante una búsqueda exhaustiva de múltiples saltos sobre el espacio definido. Nuestro método nos permite calcular la fidelidad del proceso de razonamiento con respecto al código generado y analizar los pasos de la búsqueda de múltiples saltos sin depender de solucionadores externos. Nuestros métodos logran los mejores resultados en 7 de 9 diversos bancos de pruebas de razonamiento. También demostramos que la fidelidad del modelo se correlaciona positivamente con el rendimiento general y además demostramos que {\ours} permite señalar los factores decisivos suficientes para y que conducen a la respuesta correcta con un razonamiento óptimo durante la búsqueda de múltiples saltos.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.