VeriCoT: Validación Neuro-simbólica de Cadenas de Razonamiento mediante Verificaciones de Consistencia Lógica

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

Autores: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

Resumen

Los LLM pueden realizar razonamientos de múltiples pasos mediante Cadenas de Pensamiento (CoT), pero no pueden verificar su propia lógica de manera confiable. Incluso cuando llegan a respuestas correctas, el razonamiento subyacente puede ser defectuoso, lo que socava la confianza en escenarios de alto riesgo. Para mitigar este problema, presentamos VeriCoT, un método neuro-simbólico que extrae y verifica argumentos lógicos formales a partir del razonamiento CoT. VeriCoT formaliza cada paso del razonamiento CoT en lógica de primer orden e identifica premisas que fundamentan el argumento en el contexto fuente, el conocimiento de sentido común o pasos de razonamiento previos. La representación simbólica permite a los solucionadores automatizados verificar la validez lógica, mientras que las premisas en lenguaje natural permiten a humanos y sistemas identificar pasos de razonamiento infundados o falaces. Los experimentos en los conjuntos de datos ProofWriter, LegalBench y BioASQ demuestran que VeriCoT identifica efectivamente razonamientos defectuosos y sirve como un fuerte predictor de la corrección de la respuesta final. También aprovechamos la señal de verificación de VeriCoT para (1) la autorreflexión en tiempo de inferencia, (2) el ajuste fino supervisado (SFT) en conjuntos de datos destilados por VeriCoT y (3) el ajuste fino por preferencias (PFT) con optimización directa de preferencias (DPO) utilizando recompensas pareadas basadas en verificación, mejorando aún más la validez y precisión del razonamiento.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.