Sicherer und vollständiger neuro-symbolischer Schlussfolgern mit LLM-basierten Interpretationen
Sound and Complete Neuro-symbolic Reasoning with LLM-Grounded Interpretations
July 13, 2025
papers.authors: Bradley P. Allen, Prateek Chhikara, Thomas Macaulay Ferguson, Filip Ilievski, Paul Groth
cs.AI
papers.abstract
Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten im Bereich des natürlichen Sprachverständnisses und der Sprachgenerierung gezeigt, weisen jedoch Probleme mit der logischen Konsistenz in ihren generierten Ausgaben auf. Wie können wir das breit gefächerte parametrische Wissen von LLMs für formales Schließen nutzen, trotz ihrer Inkonsistenz? Wir präsentieren eine Methode zur direkten Integration eines LLMs in die Interpretationsfunktion der formalen Semantik einer parakonsistenten Logik. Wir liefern experimentelle Belege für die Machbarkeit der Methode, indem wir die Funktion anhand von Datensätzen evaluieren, die aus mehreren Kurzform-Faktizitätsbenchmarks erstellt wurden. Im Gegensatz zu früheren Arbeiten bietet unsere Methode einen theoretischen Rahmen für neuro-symbolisches Schließen, der das Wissen eines LLMs nutzt, während die Korrektheits- und Vollständigkeitseigenschaften der zugrunde liegenden Logik erhalten bleiben.
English
Large language models (LLMs) have demonstrated impressive capabilities in
natural language understanding and generation, but they exhibit problems with
logical consistency in the output they generate. How can we harness LLMs'
broad-coverage parametric knowledge in formal reasoning despite their
inconsistency? We present a method for directly integrating an LLM into the
interpretation function of the formal semantics for a paraconsistent logic. We
provide experimental evidence for the feasibility of the method by evaluating
the function using datasets created from several short-form factuality
benchmarks. Unlike prior work, our method offers a theoretical framework for
neuro-symbolic reasoning that leverages an LLM's knowledge while preserving the
underlying logic's soundness and completeness properties.