FLARE: Верная логика-помощь в рассуждениях и исследованиях

FLARE: Faithful Logic-Aided Reasoning and Exploration

October 14, 2024

Авторы: Erik Arakelyan, Pasquale Minervini, Pat Verga, Patrick Lewis, Isabelle Augenstein

cs.AI

Аннотация

Современные подходы к вопросно-ответной системе (QA) и рассуждениям на основе больших языковых моделей (LLM) обычно используют техники подсказок, такие как Цепочка Мысли (CoT), предполагая, что результативная генерация будет иметь более детальное исследование и рассуждение по пространству и области вопросов. Однако такие методы сталкиваются с трудностями в создании выводов, которые верно отражают промежуточную цепочку рассуждений, созданную моделью. На другом конце спектра нейросимволические методы, такие как Верная Цепочка Мысли (F-CoT), предлагают объединить LLM с внешними символьными решателями. Хотя такие подходы гордятся высокой степенью верности, они обычно требуют модели, обученной для генерации кода, и испытывают трудности с задачами, которые являются неоднозначными или трудными для строгой формализации. Мы представляем Верное Логико-Помогаемое Рассуждение и Исследование (\ours), новый интерпретируемый подход для исследования пространства проблем с использованием декомпозиции задач. Мы используем LLM для планирования решения, мягко формализуем запрос в факты и предикаты, используя код логического программирования, и симулируем выполнение этого кода с помощью исчерпывающего многопереходного поиска по определенному пространству. Наш метод позволяет вычислить верность процесса рассуждения относительно сгенерированного кода и проанализировать шаги многопереходного поиска без использования внешних решателей. Наши методы достигают лучших результатов на 7 из 9 разнообразных бенчмарков рассуждения. Мы также показываем, что верность модели положительно коррелирует с общей производительностью и демонстрируем, что {\ours} позволяет выявить решающие факторы, достаточные для и приводящие к правильному ответу с оптимальным рассуждением во время многопереходного поиска.

English

Modern Question Answering (QA) and Reasoning approaches based on Large Language Models (LLMs) commonly use prompting techniques, such as Chain-of-Thought (CoT), assuming the resulting generation will have a more granular exploration and reasoning over the question space and scope. However, such methods struggle with generating outputs that are faithful to the intermediate chain of reasoning produced by the model. On the other end of the spectrum, neuro-symbolic methods such as Faithful CoT (F-CoT) propose to combine LLMs with external symbolic solvers. While such approaches boast a high degree of faithfulness, they usually require a model trained for code generation and struggle with tasks that are ambiguous or hard to formalise strictly. We introduce Faithful Logic-Aided Reasoning and Exploration (\ours), a novel interpretable approach for traversing the problem space using task decompositions. We use the LLM to plan a solution, soft-formalise the query into facts and predicates using a logic programming code and simulate that code execution using an exhaustive multi-hop search over the defined space. Our method allows us to compute the faithfulness of the reasoning process w.r.t. the generated code and analyse the steps of the multi-hop search without relying on external solvers. Our methods achieve SOTA results on 7 out of 9 diverse reasoning benchmarks. We also show that model faithfulness positively correlates with overall performance and further demonstrate that {\ours} allows pinpointing the decisive factors sufficient for and leading to the correct answer with optimal reasoning during the multi-hop search.