VeriCoT: Validazione Neuro-simbolica del Ragionamento a Catena tramite Controlli di Coerenza Logica

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

Autori: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) possono eseguire ragionamenti a più fasi attraverso la Catena del Pensiero (CoT), ma non sono in grado di verificare in modo affidabile la propria logica. Anche quando raggiungono risposte corrette, il ragionamento sottostante può essere difettoso, minando la fiducia in scenari ad alto rischio. Per mitigare questo problema, introduciamo VeriCoT, un metodo neuro-simbolico che estrae e verifica argomentazioni logiche formali dal ragionamento CoT. VeriCoT formalizza ogni passo del ragionamento CoT in logica del primo ordine e identifica le premesse che ancorano l'argomentazione al contesto sorgente, alla conoscenza di senso comune o a passi di ragionamento precedenti. La rappresentazione simbolica consente ai solutori automatici di verificare la validità logica, mentre le premesse in linguaggio naturale permettono a esseri umani e sistemi di identificare passi di ragionamento infondati o fallaci. Esperimenti sui dataset ProofWriter, LegalBench e BioASQ dimostrano che VeriCoT identifica efficacemente i ragionamenti imperfetti e funge da forte predittore della correttezza della risposta finale. Sfruttiamo inoltre il segnale di verifica di VeriCoT per (1) l'auto-riflessione in fase di inferenza, (2) il fine-tuning supervisionato (SFT) su dataset distillati da VeriCoT e (3) il fine-tuning delle preferenze (PFT) con ottimizzazione diretta delle preferenze (DPO) utilizzando ricompense pairwise basate sulla verifica, migliorando ulteriormente la validità e l'accuratezza del ragionamento.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.