連鎖的思考推論の演繹的検証

Deductive Verification of Chain-of-Thought Reasoning

June 6, 2023

著者: Zhan Ling, Yunhao Fang, Xuanlin Li, Zhiao Huang, Mingu Lee, Roland Memisevic, Hao Su

cs.AI

要旨

大規模言語モデル（LLM）は、様々な推論タスクを遂行する際に、Chain-of-Thought（CoT）プロンプティングから大きな恩恵を受けています。CoTはモデルがより包括的な推論プロセスを生成することを可能にしますが、中間推論ステップに重点を置くことで、幻覚や累積エラーを無意識に導入し、複雑な推論タスクを解決するモデルの能力を制限してしまう可能性があります。人間が慎重かつ緻密な演繹的論理推論プロセスを経てタスクを解決する方法に着想を得て、私たちは言語モデルが明示的で厳密な演繹推論を実行し、自己検証を通じてその推論プロセスの信頼性を確保することを目指しています。しかし、ChatGPTのような先進的なモデルであっても、演繹推論プロセス全体の妥当性を直接検証することは困難です。この点を踏まえ、私たちは推論検証プロセスを一連のステップバイステップのサブプロセスに分解し、それぞれが必要なコンテキストと前提のみを受け取ることを提案します。この手順を容易にするために、自然言語ベースの演繹推論フォーマットであるNatural Programを提案します。私たちのアプローチは、モデルが後続のステップが前のステップにより厳密に基づいた正確な推論ステップを生成することを可能にします。また、言語モデルがステップバイステップで推論の自己検証を実行することを可能にします。この検証プロセスを各演繹推論段階に統合することで、生成された推論ステップの厳密性と信頼性を大幅に向上させます。このプロセスを通じて、複雑な推論タスクにおける回答の正確性も向上させます。コードはhttps://github.com/lz1oceani/verify_cotで公開されます。

English

Large Language Models (LLMs) significantly benefit from Chain-of-Thought (CoT) prompting in performing various reasoning tasks. While CoT allows models to produce more comprehensive reasoning processes, its emphasis on intermediate reasoning steps can inadvertently introduce hallucinations and accumulated errors, thereby limiting models' ability to solve complex reasoning tasks. Inspired by how humans engage in careful and meticulous deductive logical reasoning processes to solve tasks, we seek to enable language models to perform explicit and rigorous deductive reasoning, and also ensure the trustworthiness of their reasoning process through self-verification. However, directly verifying the validity of an entire deductive reasoning process is challenging, even with advanced models like ChatGPT. In light of this, we propose to decompose a reasoning verification process into a series of step-by-step subprocesses, each only receiving their necessary context and premises. To facilitate this procedure, we propose Natural Program, a natural language-based deductive reasoning format. Our approach enables models to generate precise reasoning steps where subsequent steps are more rigorously grounded on prior steps. It also empowers language models to carry out reasoning self-verification in a step-by-step manner. By integrating this verification process into each deductive reasoning stage, we significantly enhance the rigor and trustfulness of generated reasoning steps. Along this process, we also improve the answer correctness on complex reasoning tasks. Code will be released at https://github.com/lz1oceani/verify_cot.