VeriCoT: Validação Neuro-simbólica de Cadeia de Raciocínio por meio de Verificações de Consistência Lógica

VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks

November 6, 2025

Autores: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala

cs.AI

Resumo

Os LLMs podem realizar raciocínio de múltiplas etapas através da Cadeia de Pensamento (CoT), mas não conseguem verificar de forma confiável a sua própria lógica. Mesmo quando chegam a respostas corretas, o raciocínio subjacente pode conter falhas, o que prejudica a confiança em cenários de alto risco. Para mitigar este problema, introduzimos o VeriCoT, um método neuro-simbólico que extrai e verifica argumentos lógicos formais a partir do raciocínio CoT. O VeriCoT formaliza cada etapa do raciocínio CoT em lógica de primeira ordem e identifica premissas que fundamentam o argumento no contexto da fonte, no conhecimento de senso comum ou em etapas de raciocínio anteriores. A representação simbólica permite que solucionadores automatizados verifiquem a validade lógica, enquanto as premissas em linguagem natural permitem que humanos e sistemas identifiquem etapas de raciocínio infundadas ou falaciosas. Experimentos nos conjuntos de dados ProofWriter, LegalBench e BioASQ mostram que o VeriCoT identifica efetivamente raciocínios falhos e serve como um forte preditor da correção da resposta final. Também aproveitamos o sinal de verificação do VeriCoT para (1) autorreflexão em tempo de inferência, (2) ajuste fino supervisionado (SFT) em conjuntos de dados destilados pelo VeriCoT e (3) ajuste fino por preferência (PFT) com otimização direta de preferência (DPO) usando recompensas pareadas baseadas em verificação, melhorando ainda mais a validade e a precisão do raciocínio.

English

LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but they cannot reliably verify their own logic. Even when they reach correct answers, the underlying reasoning may be flawed, undermining trust in high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a neuro-symbolic method that extracts and verifies formal logical arguments from CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order logic and identifies premises that ground the argument in source context, commonsense knowledge, or prior reasoning steps. The symbolic representation enables automated solvers to verify logical validity while the NL premises allow humans and systems to identify ungrounded or fallacious reasoning steps. Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT effectively identifies flawed reasoning, and serves as a strong predictor of final answer correctness. We also leverage VeriCoT's verification signal for (1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct preference optimization (DPO) using verification-based pairwise rewards, further improving reasoning validity and accuracy.