Vérification déductive du raisonnement en chaîne de pensée

Deductive Verification of Chain-of-Thought Reasoning

June 6, 2023

Auteurs: Zhan Ling, Yunhao Fang, Xuanlin Li, Zhiao Huang, Mingu Lee, Roland Memisevic, Hao Su

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) bénéficient considérablement de l'incitation par chaîne de pensée (Chain-of-Thought, CoT) pour accomplir diverses tâches de raisonnement. Bien que la CoT permette aux modèles de produire des processus de raisonnement plus complets, son accent sur les étapes intermédiaires de raisonnement peut introduire involontairement des hallucinations et des erreurs accumulées, limitant ainsi la capacité des modèles à résoudre des tâches de raisonnement complexes. Inspirés par la manière dont les humains s'engagent dans des processus de raisonnement logique déductif minutieux et méticuleux pour résoudre des tâches, nous cherchons à permettre aux modèles de langage d'effectuer un raisonnement déductif explicite et rigoureux, tout en assurant la fiabilité de leur processus de raisonnement grâce à l'auto-vérification. Cependant, vérifier directement la validité d'un processus de raisonnement déductif entier est difficile, même avec des modèles avancés comme ChatGPT. Face à cela, nous proposons de décomposer un processus de vérification de raisonnement en une série de sous-processus étape par étape, chacun ne recevant que le contexte et les prémisses nécessaires. Pour faciliter cette procédure, nous proposons le Programme Naturel, un format de raisonnement déductif basé sur le langage naturel. Notre approche permet aux modèles de générer des étapes de raisonnement précises où les étapes suivantes sont plus rigoureusement fondées sur les étapes précédentes. Elle permet également aux modèles de langage d'effectuer une auto-vérification du raisonnement de manière progressive. En intégrant ce processus de vérification à chaque étape du raisonnement déductif, nous améliorons significativement la rigueur et la fiabilité des étapes de raisonnement générées. Tout au long de ce processus, nous améliorons également la justesse des réponses pour les tâches de raisonnement complexes. Le code sera disponible à l'adresse suivante : https://github.com/lz1oceani/verify_cot.

English

Large Language Models (LLMs) significantly benefit from Chain-of-Thought (CoT) prompting in performing various reasoning tasks. While CoT allows models to produce more comprehensive reasoning processes, its emphasis on intermediate reasoning steps can inadvertently introduce hallucinations and accumulated errors, thereby limiting models' ability to solve complex reasoning tasks. Inspired by how humans engage in careful and meticulous deductive logical reasoning processes to solve tasks, we seek to enable language models to perform explicit and rigorous deductive reasoning, and also ensure the trustworthiness of their reasoning process through self-verification. However, directly verifying the validity of an entire deductive reasoning process is challenging, even with advanced models like ChatGPT. In light of this, we propose to decompose a reasoning verification process into a series of step-by-step subprocesses, each only receiving their necessary context and premises. To facilitate this procedure, we propose Natural Program, a natural language-based deductive reasoning format. Our approach enables models to generate precise reasoning steps where subsequent steps are more rigorously grounded on prior steps. It also empowers language models to carry out reasoning self-verification in a step-by-step manner. By integrating this verification process into each deductive reasoning stage, we significantly enhance the rigor and trustfulness of generated reasoning steps. Along this process, we also improve the answer correctness on complex reasoning tasks. Code will be released at https://github.com/lz1oceani/verify_cot.