LLMに基づく解釈を用いた完全かつ健全なニューロシンボリック推論

要旨

大規模言語モデル（LLM）は、自然言語の理解と生成において印象的な能力を発揮するが、生成される出力において論理的一貫性に問題を示す。その一貫性の欠如にもかかわらず、LLMの広範なパラメトリック知識を形式的推論にどのように活用できるだろうか？本論文では、LLMを直接、矛盾許容論理の形式的意味論の解釈関数に統合する方法を提案する。この方法の実現可能性を検証するため、いくつかの短形式事実性ベンチマークから作成されたデータセットを用いて関数を評価し、実験的証拠を提供する。従来の研究とは異なり、本手法は、LLMの知識を活用しつつ、基盤となる論理の健全性と完全性を保持するニューロシンボリック推論の理論的枠組みを提供する。

English

Large language models (LLMs) have demonstrated impressive capabilities in natural language understanding and generation, but they exhibit problems with logical consistency in the output they generate. How can we harness LLMs' broad-coverage parametric knowledge in formal reasoning despite their inconsistency? We present a method for directly integrating an LLM into the interpretation function of the formal semantics for a paraconsistent logic. We provide experimental evidence for the feasibility of the method by evaluating the function using datasets created from several short-form factuality benchmarks. Unlike prior work, our method offers a theoretical framework for neuro-symbolic reasoning that leverages an LLM's knowledge while preserving the underlying logic's soundness and completeness properties.

LLMに基づく解釈を用いた完全かつ健全なニューロシンボリック推論

Sound and Complete Neuro-symbolic Reasoning with LLM-Grounded Interpretations

要旨

Support