Sprachmodelle können logische Löser sein.

Language Models can be Logical Solvers

November 10, 2023

Autoren: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Zusammenfassung

Logisches Denken ist ein grundlegender Aspekt der menschlichen Intelligenz und eine Schlüsselkomponente bei Aufgaben wie Problemlösung und Entscheidungsfindung. Jüngste Fortschritte haben es großen Sprachmodellen (Large Language Models, LLMs) ermöglicht, potenziell Fähigkeiten zum logischen Schlussfolgern zu zeigen, doch komplexes logisches Denken bleibt eine Herausforderung. Der aktuelle Stand der Technik, solver-augmentierte Sprachmodelle, verwendet LLMs, um logische Fragen in natürlicher Sprache zunächst in symbolische Darstellungen zu übersetzen, und setzt dann externe logische Solver ein, die diese symbolischen Darstellungen verarbeiten und die Antworten liefern. Trotz ihrer beeindruckenden Leistung führen etwaige Übersetzungsfehler unweigerlich zum Scheitern der Ausführung des externen logischen Solvers und somit zu keiner Antwort auf die logischen Fragen. In diesem Artikel stellen wir LoGiPT vor, ein neuartiges Sprachmodell, das die Denkprozesse logischer Solver direkt nachahmt und Übersetzungsfehler umgeht, indem es lernt, sich strikt an die Syntax und Grammatik der Solver zu halten. LoGiPT wird auf einem neu erstellten Instruktions-Tuning-Datensatz feinabgestimmt, der durch die Offenlegung und Verfeinerung des unsichtbaren Denkprozesses deduktiver Solver gewonnen wurde. Experimentelle Ergebnisse auf zwei öffentlichen Datensätzen zur deduktiven Argumentation zeigen, dass LoGiPT den aktuellen solver-augmentierten Sprachmodellen sowie Few-Shot-Prompting-Methoden auf konkurrenzfähigen LLMs wie ChatGPT oder GPT-4 überlegen ist.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.