VeriCoT : Validation neuro-symbolique des Chaînes de Raisonnement par des Vérifications de Cohérence Logique

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

papers.authors: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLM) peuvent réaliser des raisonnements à plusieurs étapes via la méthode Chaîne de Pensée (CoT), mais ils ne peuvent pas vérifier de manière fiable leur propre logique. Même lorsqu'ils parviennent à des réponses correctes, le raisonnement sous-jacent peut être erroné, ce qui compromet la confiance dans des scénarios à enjeux élevés. Pour atténuer ce problème, nous présentons VeriCoT, une méthode neuro-symbolique qui extrait et vérifie des arguments logiques formels à partir du raisonnement CoT. VeriCoT formalise chaque étape de raisonnement CoT en logique du premier ordre et identifie les prémisses qui ancrent l'argument dans le contexte source, les connaissances de sens commun ou les étapes de raisonnement antérieures. La représentation symbolique permet à des solveurs automatisés de vérifier la validité logique, tandis que les prémisses en langage naturel permettent aux humains et aux systèmes d'identifier les étapes de raisonnement non fondées ou fallacieuses. Les expériences sur les jeux de données ProofWriter, LegalBench et BioASQ montrent que VeriCoT identifie efficacement les raisonnements défectueux et constitue un indicateur robuste de l'exactitude de la réponse finale. Nous exploitons également le signal de vérification de VeriCoT pour (1) l'auto-réflexion en temps d'inférence, (2) l'affinage supervisé (SFT) sur des jeux de données distillés par VeriCoT et (3) l'affinage par préférences (PFT) via l'optimisation directe des préférences (DPO) en utilisant des récompenses par paires basées sur la vérification, améliorant ainsi davantage la validité et la précision du raisonnement.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.