Les modèles de langage peuvent être des solveurs logiques.

Language Models can be Logical Solvers

November 10, 2023

Auteurs: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Résumé

Le raisonnement logique est un aspect fondamental de l'intelligence humaine et un élément clé des tâches telles que la résolution de problèmes et la prise de décision. Les avancées récentes ont permis aux modèles de langage de grande taille (LLMs) de potentiellement manifester des capacités de raisonnement, mais le raisonnement logique complexe reste un défi. L'état de l'art, les modèles de langage augmentés par des solveurs, utilisent les LLMs pour analyser les questions logiques en langage naturel en représentations symboliques, puis adoptent des solveurs logiques externes pour traiter ces représentations symboliques et produire les réponses. Malgré leurs performances impressionnantes, toute erreur d'analyse entraînera inévitablement l'échec de l'exécution du solveur logique externe et l'absence de réponse aux questions logiques. Dans cet article, nous présentons LoGiPT, un nouveau modèle de langage qui imite directement les processus de raisonnement des solveurs logiques et contourne les erreurs d'analyse en apprenant à adhérer strictement à la syntaxe et à la grammaire des solveurs. LoGiPT est affiné sur un nouvel ensemble de données d'ajustement d'instructions, construit à partir de la révélation et du raffinement du processus de raisonnement invisible des solveurs déductifs. Les résultats expérimentaux sur deux ensembles de données publics de raisonnement déductif démontrent que LoGiPT surpasse les modèles de langage augmentés par des solveurs de pointe et les méthodes de prompting en few-shot sur des LLMs compétitifs comme ChatGPT ou GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.