I Modelli Linguistici possono essere Risolutori Logici

Language Models can be Logical Solvers

November 10, 2023

Autori: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Abstract

Il ragionamento logico è un aspetto fondamentale dell'intelligenza umana e un componente chiave di attività come la risoluzione di problemi e il processo decisionale. I recenti progressi hanno permesso ai Large Language Model (LLM) di potenzialmente esibire capacità di ragionamento, ma il ragionamento logico complesso rimane una sfida. Lo stato dell'arte, rappresentato dai modelli linguistici potenziati da solutori, utilizza gli LLM per analizzare le domande logiche espresse in linguaggio naturale e convertirle in rappresentazioni simboliche, per poi adottare solutori logici esterni che elaborano tali rappresentazioni e producono le risposte. Nonostante le prestazioni impressionanti, qualsiasi errore di analisi porterà inevitabilmente al fallimento dell'esecuzione del solutore logico esterno e all'assenza di risposte alle domande logiche. In questo articolo, introduciamo LoGiPT, un nuovo modello linguistico che emula direttamente i processi di ragionamento dei solutori logici e aggira gli errori di analisi imparando a rispettare rigorosamente la sintassi e la grammatica dei solutori. LoGiPT viene ottimizzato su un nuovo dataset di messa a punto delle istruzioni, costruito rivelando e affinando il processo di ragionamento invisibile dei solutori deduttivi. I risultati sperimentali su due dataset pubblici di ragionamento deduttivo dimostrano che LoGiPT supera i modelli linguistici potenziati da solutori all'avanguardia e i metodi di prompting few-shot su LLM competitivi come ChatGPT o GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.