Дедуктивная верификация цепочек рассуждений

Deductive Verification of Chain-of-Thought Reasoning

June 6, 2023

Авторы: Zhan Ling, Yunhao Fang, Xuanlin Li, Zhiao Huang, Mingu Lee, Roland Memisevic, Hao Su

cs.AI

Аннотация

Крупные языковые модели (LLMs) значительно выигрывают от использования метода Chain-of-Thought (CoT) при выполнении различных задач, требующих рассуждений. Хотя CoT позволяет моделям генерировать более детализированные процессы рассуждений, акцент на промежуточных шагах может непреднамеренно приводить к появлению галлюцинаций и накоплению ошибок, что ограничивает способность моделей решать сложные задачи. Вдохновленные тем, как люди применяют тщательные и методичные дедуктивные логические рассуждения для решения задач, мы стремимся научить языковые модели выполнять явные и строгие дедуктивные рассуждения, а также обеспечивать достоверность их процесса рассуждений через самопроверку. Однако прямое подтверждение валидности всего процесса дедуктивных рассуждений является сложной задачей, даже для продвинутых моделей, таких как ChatGPT. В связи с этим мы предлагаем разбить процесс проверки рассуждений на ряд пошаговых подпроцессов, каждый из которых получает только необходимый контекст и предпосылки. Для облегчения этой процедуры мы предлагаем Natural Program — формат дедуктивных рассуждений на основе естественного языка. Наш подход позволяет моделям генерировать точные шаги рассуждений, где последующие шаги более строго основываются на предыдущих. Он также позволяет языковым моделям выполнять самопроверку рассуждений пошагово. Интегрируя этот процесс проверки в каждый этап дедуктивных рассуждений, мы значительно повышаем строгость и достоверность генерируемых шагов рассуждений. В ходе этого процесса мы также улучшаем правильность ответов на сложные задачи. Код будет доступен по адресу https://github.com/lz1oceani/verify_cot.

English

Large Language Models (LLMs) significantly benefit from Chain-of-Thought (CoT) prompting in performing various reasoning tasks. While CoT allows models to produce more comprehensive reasoning processes, its emphasis on intermediate reasoning steps can inadvertently introduce hallucinations and accumulated errors, thereby limiting models' ability to solve complex reasoning tasks. Inspired by how humans engage in careful and meticulous deductive logical reasoning processes to solve tasks, we seek to enable language models to perform explicit and rigorous deductive reasoning, and also ensure the trustworthiness of their reasoning process through self-verification. However, directly verifying the validity of an entire deductive reasoning process is challenging, even with advanced models like ChatGPT. In light of this, we propose to decompose a reasoning verification process into a series of step-by-step subprocesses, each only receiving their necessary context and premises. To facilitate this procedure, we propose Natural Program, a natural language-based deductive reasoning format. Our approach enables models to generate precise reasoning steps where subsequent steps are more rigorously grounded on prior steps. It also empowers language models to carry out reasoning self-verification in a step-by-step manner. By integrating this verification process into each deductive reasoning stage, we significantly enhance the rigor and trustfulness of generated reasoning steps. Along this process, we also improve the answer correctness on complex reasoning tasks. Code will be released at https://github.com/lz1oceani/verify_cot.