Языковые модели могут выступать в роли логических решателей.

Language Models can be Logical Solvers

November 10, 2023

Авторы: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Аннотация

Логическое рассуждение является фундаментальным аспектом человеческого интеллекта и ключевым компонентом таких задач, как решение проблем и принятие решений. Последние достижения позволили крупным языковым моделям (LLM) потенциально демонстрировать способности к рассуждению, однако сложное логическое рассуждение остается вызовом. Современные модели, усиленные решателями, используют LLM для преобразования логических вопросов на естественном языке в символические представления, а затем применяют внешние логические решатели для обработки этих символических представлений и вывода ответов. Несмотря на впечатляющие результаты, любые ошибки в процессе преобразования неизбежно приводят к сбою в работе внешнего логического решателя и отсутствию ответа на логические вопросы. В данной статье мы представляем LoGiPT — новую языковую модель, которая непосредственно имитирует процессы рассуждения логических решателей и избегает ошибок преобразования, обучаясь строгому соблюдению синтаксиса и грамматики решателей. LoGiPT дорабатывается на новом наборе данных для настройки инструкций, созданном на основе анализа и уточнения скрытого процесса рассуждения дедуктивных решателей. Экспериментальные результаты на двух публичных наборах данных для дедуктивного рассуждения показывают, что LoGiPT превосходит современные модели, усиленные решателями, и методы немногих примеров на конкурентных LLM, таких как ChatGPT или GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.