VeriCoT: Neuro-symbolische Validierung von Gedankenketten durch logische Konsistenzprüfungen

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

papers.authors: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

papers.abstract

LLMs können durch Chain-of-Thought (CoT) mehrstufige Schlussfolgerungen durchführen, sind jedoch nicht in der Lage, ihre eigene Logik zuverlässig zu überprüfen. Selbst wenn sie zu korrekten Antworten gelangen, kann die zugrundeliegende Argumentation fehlerhaft sein, was das Vertrauen in hochriskanten Szenarien untergräbt. Um dieses Problem zu mildern, führen wir VeriCoT ein, eine neuro-symbolische Methode, die formale logische Argumente aus der CoT-Argumentation extrahiert und verifiziert. VeriCoT formalisiert jeden CoT-Argumentationsschritt in Logik erster Stufe und identifiziert Prämissen, die das Argument im Quellkontext, im Allgemeinwissen oder in vorherigen Argumentationsschritten verankern. Die symbolische Repräsentation ermöglicht es automatischen Solvern, die logische Gültigkeit zu überprüfen, während die natürlichsprachlichen Prämissen es Menschen und Systemen erlauben, unbegründete oder fehlerhafte Argumentationsschritte zu identifizieren. Experimente mit den Datensätzen ProofWriter, LegalBench und BioASQ zeigen, dass VeriCoT fehlerhafte Argumentation effektiv erkennt und als starker Prädiktor für die Korrektheit der Endantwort dient. Wir nutzen zudem das Verifikationssignal von VeriCoT für (1) Selbstreflexion zur Inferenzzeit, (2) überwachtes Feinabstimmen (SFT) auf VeriCoT-extrahierten Datensätzen und (3) Präferenz-Feinabstimmung (PFT) mittels Direct Preference Optimization (DPO) unter Verwendung paarweiser Belohnungen auf Verifikationsbasis, was die Gültigkeit und Genauigkeit der Argumentation weiter verbessert.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.