VeriCoT: Проверка нейро-символических цепочек рассуждений с помощью проверки логической согласованности
VeriCoT: Neuro-symbolic Chain-of-Thought Validation via Logical Consistency Checks
November 6, 2025
Авторы: Yu Feng, Nathaniel Weir, Kaj Bostrom, Sam Bayless, Darion Cassel, Sapana Chaudhary, Benjamin Kiesl-Reiter, Huzefa Rangwala
cs.AI
Аннотация
Крупные языковые модели (LLM) способны выполнять многошаговые рассуждения с помощью метода "цепочки мыслей" (CoT), но не могут надежно проверять собственную логику. Даже при получении правильных ответов лежащие в их основе рассуждения могут содержать ошибки, что подрывает доверие в ситуациях с высокими ставками. Для решения этой проблемы мы представляем VeriCoT — нейро-символический метод, который извлекает и проверяет формальные логические аргументы из рассуждений CoT. VeriCoT формализует каждый шаг рассуждений CoT в логику первого порядка и идентифицирует предпосылки, которые связывают аргумент с исходным контекстом, здравым смыслом или предыдущими шагами рассуждений. Символьное представление позволяет автоматизированным решателям проверять логическую корректность, а предпосылки на естественном языке дают возможность людям и системам выявлять необоснованные или ошибочные шаги рассуждений. Эксперименты на наборах данных ProofWriter, LegalBench и BioASQ показывают, что VeriCoT эффективно идентифицирует ошибочные рассуждения и служит надежным предиктором правильности конечного ответа. Мы также используем сигнал верификации VeriCoT для (1) саморефлексии во время вывода, (2) контролируемого тонкого настроения (SFT) на наборах данных, обогащенных с помощью VeriCoT, и (3) тонкого настроения предпочтений (PFT) с помощью прямой оптимизации предпочтений (DPO) с использованием парных вознаграждений на основе верификации, что дополнительно повышает достоверность и точность рассуждений.
English
LLMs can perform multi-step reasoning through Chain-of-Thought (CoT), but
they cannot reliably verify their own logic. Even when they reach correct
answers, the underlying reasoning may be flawed, undermining trust in
high-stakes scenarios. To mitigate this issue, we introduce VeriCoT, a
neuro-symbolic method that extracts and verifies formal logical arguments from
CoT reasoning. VeriCoT formalizes each CoT reasoning step into first-order
logic and identifies premises that ground the argument in source context,
commonsense knowledge, or prior reasoning steps. The symbolic representation
enables automated solvers to verify logical validity while the NL premises
allow humans and systems to identify ungrounded or fallacious reasoning steps.
Experiments on the ProofWriter, LegalBench, and BioASQ datasets show VeriCoT
effectively identifies flawed reasoning, and serves as a strong predictor of
final answer correctness. We also leverage VeriCoT's verification signal for
(1) inference-time self-reflection, (2) supervised fine-tuning (SFT) on
VeriCoT-distilled datasets and (3) preference fine-tuning (PFT) with direct
preference optimization (DPO) using verification-based pairwise rewards,
further improving reasoning validity and accuracy.