Modelos de Linguagem podem ser Solucionadores Lógicos

Language Models can be Logical Solvers

November 10, 2023

Autores: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Resumo

O raciocínio lógico é um aspecto fundamental da inteligência humana e um componente chave de tarefas como resolução de problemas e tomada de decisões. Avanços recentes permitiram que Modelos de Linguagem de Grande Escala (LLMs) potencialmente exibissem capacidades de raciocínio, mas o raciocínio lógico complexo continua sendo um desafio. O estado da arte, modelos de linguagem aumentados por solucionadores, utiliza LLMs para analisar questões lógicas em linguagem natural em representações simbólicas primeiro e, em seguida, adota solucionadores lógicos externos para processar as representações simbólicas e gerar as respostas. Apesar de seu desempenho impressionante, qualquer erro de análise inevitavelmente resultará na falha da execução do solucionador lógico externo e na ausência de resposta para as questões lógicas. Neste artigo, apresentamos o LoGiPT, um novo modelo de linguagem que emula diretamente os processos de raciocínio dos solucionadores lógicos e contorna os erros de análise ao aprender a aderir estritamente à sintaxe e gramática dos solucionadores. O LoGiPT é ajustado em um novo conjunto de dados de ajuste de instruções construído a partir da revelação e refinamento do processo de raciocínio invisível de solucionadores dedutivos. Resultados experimentais em dois conjuntos de dados públicos de raciocínio dedutivo demonstram que o LoGiPT supera os modelos de linguagem aumentados por solucionadores de última geração e métodos de prompt de poucos exemplos em LLMs competitivos como ChatGPT ou GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.