Los Modelos de Lenguaje pueden ser Solucionadores Lógicos.

Language Models can be Logical Solvers

November 10, 2023

Autores: Jiazhan Feng, Ruochen Xu, Junheng Hao, Hiteshi Sharma, Yelong Shen, Dongyan Zhao, Weizhu Chen

cs.AI

Resumen

El razonamiento lógico es un aspecto fundamental de la inteligencia humana y un componente clave en tareas como la resolución de problemas y la toma de decisiones. Los avances recientes han permitido que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) potencialmente exhiban capacidades de razonamiento, aunque el razonamiento lógico complejo sigue siendo un desafío. Los modelos de lenguaje aumentados con solucionadores, considerados el estado del arte, utilizan LLMs para analizar preguntas lógicas en lenguaje natural y convertirlas primero en representaciones simbólicas, para luego emplear solucionadores lógicos externos que procesan estas representaciones y generan las respuestas. A pesar de su impresionante rendimiento, cualquier error en el análisis inevitablemente resultará en el fallo de la ejecución del solucionador lógico externo y en la ausencia de respuestas a las preguntas lógicas. En este artículo, presentamos LoGiPT, un modelo de lenguaje novedoso que emula directamente los procesos de razonamiento de los solucionadores lógicos y evita los errores de análisis al aprender a adherirse estrictamente a la sintaxis y gramática de los solucionadores. LoGiPT se ajusta mediante un nuevo conjunto de datos de ajuste por instrucciones, construido a partir de revelar y refinar el proceso de razonamiento invisible de los solucionadores deductivos. Los resultados experimentales en dos conjuntos de datos públicos de razonamiento deductivo demuestran que LoGiPT supera a los modelos de lenguaje aumentados con solucionadores de última generación y a los métodos de prompting con pocos ejemplos en LLMs competitivos como ChatGPT o GPT-4.

English

Logical reasoning is a fundamental aspect of human intelligence and a key component of tasks like problem-solving and decision-making. Recent advancements have enabled Large Language Models (LLMs) to potentially exhibit reasoning capabilities, but complex logical reasoning remains a challenge. The state-of-the-art, solver-augmented language models, use LLMs to parse natural language logical questions into symbolic representations first and then adopt external logical solvers to take in the symbolic representations and output the answers. Despite their impressive performance, any parsing errors will inevitably result in the failure of the execution of the external logical solver and no answer to the logical questions. In this paper, we introduce LoGiPT, a novel language model that directly emulates the reasoning processes of logical solvers and bypasses the parsing errors by learning to strict adherence to solver syntax and grammar. LoGiPT is fine-tuned on a newly constructed instruction-tuning dataset derived from revealing and refining the invisible reasoning process of deductive solvers. Experimental results on two public deductive reasoning datasets demonstrate that LoGiPT outperforms state-of-the-art solver-augmented LMs and few-shot prompting methods on competitive LLMs like ChatGPT or GPT-4.