VeriCoT: Neuro-symbolische Validatie van Gedachtegangen via Logische Consistentiecontroles

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

Auteurs: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

Samenvatting

LLM's kunnen multi-stap redeneringen uitvoeren via Chain-of-Thought (CoT), maar ze kunnen hun eigen logica niet betrouwbaar verifiëren. Zelfs wanneer ze tot correcte antwoorden komen, kan de onderliggende redeneerwijze gebreken vertonen, wat het vertrouwen in hoog-risico scenario's ondermijnt. Om dit probleem te verlichten, introduceren we VeriCoT, een neuro-symbolische methode die formele logische argumenten uit CoT-redeneringen extraheert en verifieert. VeriCoT formaliseert elke CoT-redeneerstap naar eerstelogica en identificeert premissen die het argument verankeren in de broncontext, common sense-kennis of eerdere redeneerstappen. De symbolische representatie maakt het mogelijk voor geautomatiseerde solvers om de logische geldigheid te verifiëren, terwijl de NL-premissen mens en systeem in staat stellen om ongegronde of foutieve redeneerstappen te identificeren. Experimenten op de ProofWriter-, LegalBench- en BioASQ-datasets tonen aan dat VeriCoT effectief gebrekkige redeneringen identificeert en fungeert als een sterke voorspeller van de uiteindelijke antwoordcorrectheid. We benutten ook VeriCoT's verificatiesignaal voor (1) zelfreflectie tijdens inferentie, (2) supervised fine-tuning (SFT) op VeriCoT-gedistilleerde datasets en (3) preference fine-tuning (PFT) met directe preferentie-optimalisatie (DPO) met op verificatie gebaseerde paarsgewijze beloningen, wat de redeneergeldigheid en nauwkeurigheid verder verbetert.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.