완전하고 정확한 신경-기호적 추론: LLM 기반 해석을 중심으로

초록

대규모 언어 모델(LLMs)은 자연어 이해 및 생성에서 인상적인 능력을 보여주지만, 생성하는 출력에서 논리적 일관성 문제를 보인다. 이러한 불일치에도 불구하고 LLMs의 광범위한 파라미터 지식을 형식적 추론에 어떻게 활용할 수 있을까? 우리는 LLM을 직접 통합하여 파라일관 논리(paraconsistent logic)의 형식적 의미론 해석 함수에 적용하는 방법을 제시한다. 여러 단편적 사실성 벤치마크에서 생성된 데이터셋을 사용하여 이 함수를 평가함으로써 해당 방법의 실현 가능성에 대한 실험적 증거를 제공한다. 기존 연구와 달리, 우리의 방법은 LLM의 지식을 활용하면서도 기저 논리의 건전성(soundness)과 완전성(completeness) 속성을 보존하는 신경-기호 추론(neuro-symbolic reasoning)을 위한 이론적 틀을 제공한다.

English

Large language models (LLMs) have demonstrated impressive capabilities in natural language understanding and generation, but they exhibit problems with logical consistency in the output they generate. How can we harness LLMs' broad-coverage parametric knowledge in formal reasoning despite their inconsistency? We present a method for directly integrating an LLM into the interpretation function of the formal semantics for a paraconsistent logic. We provide experimental evidence for the feasibility of the method by evaluating the function using datasets created from several short-form factuality benchmarks. Unlike prior work, our method offers a theoretical framework for neuro-symbolic reasoning that leverages an LLM's knowledge while preserving the underlying logic's soundness and completeness properties.

완전하고 정확한 신경-기호적 추론: LLM 기반 해석을 중심으로

Sound and Complete Neuro-symbolic Reasoning with LLM-Grounded Interpretations

초록

Support