Taalmodelen kunnen logische oplossers zijn

Samenvatting

Logisch redeneren is een fundamenteel aspect van menselijke intelligentie en een belangrijk onderdeel van taken zoals probleemoplossing en besluitvorming. Recente vooruitgang heeft het mogelijk gemaakt dat Large Language Models (LLMs) potentieel redeneervaardigheden kunnen vertonen, maar complex logisch redeneren blijft een uitdaging. De state-of-the-art, solver-augmented taalmodellen, gebruiken LLMs om logische vragen in natuurlijke taal eerst om te zetten in symbolische representaties en vervolgens externe logische solvers in te zetten om deze symbolische representaties te verwerken en antwoorden te genereren. Ondanks hun indrukwekkende prestaties zullen eventuele parseerfouten onvermijdelijk leiden tot het falen van de uitvoering van de externe logische solver en geen antwoord op de logische vragen opleveren. In dit artikel introduceren we LoGiPT, een nieuw taalmodel dat de redeneerprocessen van logische solvers direct nabootst en parseerfouten omzeilt door strikte naleving van de syntaxis en grammatica van solvers te leren. LoGiPT is afgestemd op een nieuw geconstrueerde instructie-afstemmingsdataset, afgeleid van het onthullen en verfijnen van het onzichtbare redeneerproces van deductieve solvers. Experimentele resultaten op twee openbare datasets voor deductief redeneren tonen aan dat LoGiPT state-of-the-art solver-augmented LMs en few-shot prompting-methoden overtreft op competitieve LLMs zoals ChatGPT of GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.

Taalmodelen kunnen logische oplossers zijn

Language Models can be Logical Solvers

Samenvatting

Support