Deduktive Verifikation von Chain-of-Thought-Reasoning
Deductive Verification of Chain-of-Thought Reasoning
June 6, 2023
Autoren: Zhan Ling, Yunhao Fang, Xuanlin Li, Zhiao Huang, Mingu Lee, Roland Memisevic, Hao Su
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) profitieren erheblich von Chain-of-Thought (CoT)-Prompting bei der Durchführung verschiedener Denkaufgaben. Während CoT es Modellen ermöglicht, umfassendere Denkprozesse zu erzeugen, kann die Betonung von Zwischenschritten im Denkprozess unbeabsichtigt Halluzinationen und kumulierte Fehler einführen, wodurch die Fähigkeit der Modelle, komplexe Denkaufgaben zu lösen, eingeschränkt wird. Inspiriert davon, wie Menschen sorgfältige und akribische deduktive logische Denkprozesse zur Lösung von Aufgaben einsetzen, streben wir danach, Sprachmodelle in die Lage zu versetzen, explizite und rigorose deduktive Schlussfolgerungen durchzuführen und gleichzeitig die Vertrauenswürdigkeit ihres Denkprozesses durch Selbstüberprüfung sicherzustellen. Allerdings ist die direkte Überprüfung der Gültigkeit eines gesamten deduktiven Denkprozesses selbst mit fortschrittlichen Modellen wie ChatGPT eine Herausforderung. Vor diesem Hintergrund schlagen wir vor, einen Denküberprüfungsprozess in eine Reihe von schrittweisen Teilprozessen zu zerlegen, von denen jeder nur den notwendigen Kontext und die erforderlichen Prämissen erhält. Um dieses Verfahren zu erleichtern, schlagen wir Natural Program vor, ein auf natürlicher Sprache basierendes deduktives Denkformat. Unser Ansatz ermöglicht es Modellen, präzise Denkschritte zu generieren, bei denen nachfolgende Schritte strenger auf vorherigen Schritten aufbauen. Darüber hinaus befähigt er Sprachmodelle, die Denküberprüfung in einem schrittweisen Verfahren durchzuführen. Durch die Integration dieses Überprüfungsprozesses in jede Stufe des deduktiven Denkens verbessern wir die Strenge und Vertrauenswürdigkeit der generierten Denkschritte erheblich. Im Zuge dieses Prozesses verbessern wir auch die Antwortgenauigkeit bei komplexen Denkaufgaben. Der Code wird unter https://github.com/lz1oceani/verify_cot veröffentlicht.
English
Large Language Models (LLMs) significantly benefit from Chain-of-Thought
(CoT) prompting in performing various reasoning tasks. While CoT allows models
to produce more comprehensive reasoning processes, its emphasis on intermediate
reasoning steps can inadvertently introduce hallucinations and accumulated
errors, thereby limiting models' ability to solve complex reasoning tasks.
Inspired by how humans engage in careful and meticulous deductive logical
reasoning processes to solve tasks, we seek to enable language models to
perform explicit and rigorous deductive reasoning, and also ensure the
trustworthiness of their reasoning process through self-verification. However,
directly verifying the validity of an entire deductive reasoning process is
challenging, even with advanced models like ChatGPT. In light of this, we
propose to decompose a reasoning verification process into a series of
step-by-step subprocesses, each only receiving their necessary context and
premises. To facilitate this procedure, we propose Natural Program, a natural
language-based deductive reasoning format. Our approach enables models to
generate precise reasoning steps where subsequent steps are more rigorously
grounded on prior steps. It also empowers language models to carry out
reasoning self-verification in a step-by-step manner. By integrating this
verification process into each deductive reasoning stage, we significantly
enhance the rigor and trustfulness of generated reasoning steps. Along this
process, we also improve the answer correctness on complex reasoning tasks.
Code will be released at https://github.com/lz1oceani/verify_cot.