Verificación Deductiva del Razonamiento en Cadena de Pensamiento

Deductive Verification of Chain-of-Thought Reasoning

June 6, 2023

Autores: Zhan Ling, Yunhao Fang, Xuanlin Li, Zhiao Huang, Mingu Lee, Roland Memisevic, Hao Su

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) se benefician significativamente del prompting de Cadena de Pensamiento (CoT) al realizar diversas tareas de razonamiento. Aunque el CoT permite que los modelos produzcan procesos de razonamiento más completos, su énfasis en los pasos intermedios de razonamiento puede introducir inadvertidamente alucinaciones y errores acumulados, limitando así la capacidad de los modelos para resolver tareas de razonamiento complejas. Inspirados en cómo los humanos realizan procesos de razonamiento lógico deductivo cuidadosos y meticulosos para resolver tareas, buscamos permitir que los modelos de lenguaje realicen un razonamiento deductivo explícito y riguroso, y también asegurar la confiabilidad de su proceso de razonamiento mediante la autoverificación. Sin embargo, verificar directamente la validez de un proceso completo de razonamiento deductivo es un desafío, incluso con modelos avanzados como ChatGPT. En vista de esto, proponemos descomponer un proceso de verificación de razonamiento en una serie de subprocesos paso a paso, cada uno de los cuales recibe únicamente su contexto y premisas necesarios. Para facilitar este procedimiento, proponemos el Programa Natural, un formato de razonamiento deductivo basado en lenguaje natural. Nuestro enfoque permite que los modelos generen pasos de razonamiento precisos donde los pasos subsiguientes se basan de manera más rigurosa en los pasos previos. También capacita a los modelos de lenguaje para llevar a cabo la autoverificación del razonamiento de manera paso a paso. Al integrar este proceso de verificación en cada etapa del razonamiento deductivo, mejoramos significativamente el rigor y la confiabilidad de los pasos de razonamiento generados. A lo largo de este proceso, también mejoramos la corrección de las respuestas en tareas de razonamiento complejas. El código se publicará en https://github.com/lz1oceani/verify_cot.

English

Large Language Models (LLMs) significantly benefit from Chain-of-Thought (CoT) prompting in performing various reasoning tasks. While CoT allows models to produce more comprehensive reasoning processes, its emphasis on intermediate reasoning steps can inadvertently introduce hallucinations and accumulated errors, thereby limiting models' ability to solve complex reasoning tasks. Inspired by how humans engage in careful and meticulous deductive logical reasoning processes to solve tasks, we seek to enable language models to perform explicit and rigorous deductive reasoning, and also ensure the trustworthiness of their reasoning process through self-verification. However, directly verifying the validity of an entire deductive reasoning process is challenging, even with advanced models like ChatGPT. In light of this, we propose to decompose a reasoning verification process into a series of step-by-step subprocesses, each only receiving their necessary context and premises. To facilitate this procedure, we propose Natural Program, a natural language-based deductive reasoning format. Our approach enables models to generate precise reasoning steps where subsequent steps are more rigorously grounded on prior steps. It also empowers language models to carry out reasoning self-verification in a step-by-step manner. By integrating this verification process into each deductive reasoning stage, we significantly enhance the rigor and trustfulness of generated reasoning steps. Along this process, we also improve the answer correctness on complex reasoning tasks. Code will be released at https://github.com/lz1oceani/verify_cot.