Geluid en Compleet Neuro-symbolisch Redeneren met LLM-gebaseerde Interpretaties
Sound and Complete Neuro-symbolic Reasoning with LLM-Grounded Interpretations
July 13, 2025
Auteurs: Bradley P. Allen, Prateek Chhikara, Thomas Macaulay Ferguson, Filip Ilievski, Paul Groth
cs.AI
Samenvatting
Grote taalmodellen (LLMs) hebben indrukwekkende capaciteiten getoond op het gebied van natuurlijke taalverwerking en -generatie, maar ze vertonen problemen met logische consistentie in de output die ze genereren. Hoe kunnen we het brede parametrische kennisbereik van LLMs benutten voor formeel redeneren ondanks hun inconsistentie? We presenteren een methode om een LLM rechtstreeks te integreren in de interpretatiefunctie van de formele semantiek voor een paraconsistente logica. We leveren experimenteel bewijs voor de haalbaarheid van de methode door de functie te evalueren met behulp van datasets die zijn gemaakt op basis van verschillende kortlopende feitelijkheidsbenchmarks. In tegenstelling tot eerder werk biedt onze methode een theoretisch kader voor neuro-symbolisch redeneren dat gebruikmaakt van de kennis van een LLM, terwijl de correctheid en volledigheid van de onderliggende logica behouden blijven.
English
Large language models (LLMs) have demonstrated impressive capabilities in
natural language understanding and generation, but they exhibit problems with
logical consistency in the output they generate. How can we harness LLMs'
broad-coverage parametric knowledge in formal reasoning despite their
inconsistency? We present a method for directly integrating an LLM into the
interpretation function of the formal semantics for a paraconsistent logic. We
provide experimental evidence for the feasibility of the method by evaluating
the function using datasets created from several short-form factuality
benchmarks. Unlike prior work, our method offers a theoretical framework for
neuro-symbolic reasoning that leverages an LLM's knowledge while preserving the
underlying logic's soundness and completeness properties.