言語モデルにおける幻覚の抑制：ライセンス付与オラクルの活用
Stemming Hallucination in Language Models Using a Licensing Oracle
November 8, 2025
著者: Simeon Emanuilov, Richard Ackermann
cs.AI
要旨
言語モデルは驚異的な自然言語生成能力を示すが、幻覚（ハルシネーション）に陥りやすく、統語的に一貫した応答を生成しながらも事実に反する情報を生成する問題が残っている。本研究では、構造化された知識グラフに対する形式的検証により真実性の制約を強制することで、言語モデルの幻覚を抑制することを目的としたアーキテクチャ上の解決策であるLicensing Oracleを提案する。データスケーリングやファインチューニングに依存する統計的アプローチとは異なり、Licensing Oracleはモデルの生成プロセスに決定的な検証ステップを組み込み、事実的に正確な主張のみが行われることを保証する。Licensing Oracleの有効性を評価するため、ベースラインの言語モデル生成、事実想起のためのファインチューニング、不回答行動のためのファインチューニング、検索拡張生成（RAG）など、いくつかの最先端手法と比較する実験を行った。その結果、RAGやファインチューニングは性能を向上させるものの、幻覚を完全には排除できないことが明らかとなった。対照的に、Licensing Oracleは完全な不回答精度（AP = 1.0）とゼロの誤回答（FAR-NE = 0.0）を達成し、有効な主張のみが89.1%の精度で生成されることを保証した。この研究は、Licensing Oracleのようなアーキテクチャ上の革新が、構造化された知識表現が存在する領域における幻覚に対して、必要十分な解決策を提供し、統計的手法では達成できない保証を提供することを示している。Licensing Oracleは事実ベースの領域における幻覚への対処に特化して設計されているが、そのフレームワークは将来のAIシステムにおける真実性制約付き生成の基盤を築き、信頼性が高く認識論的に基礎付けられたモデルへの新たな道筋を提供するものである。
English
Language models exhibit remarkable natural language generation capabilities
but remain prone to hallucinations, generating factually incorrect information
despite producing syntactically coherent responses. This study introduces the
Licensing Oracle, an architectural solution designed to stem hallucinations in
LMs by enforcing truth constraints through formal validation against structured
knowledge graphs. Unlike statistical approaches that rely on data scaling or
fine-tuning, the Licensing Oracle embeds a deterministic validation step into
the model's generative process, ensuring that only factually accurate claims
are made. We evaluated the effectiveness of the Licensing Oracle through
experiments comparing it with several state-of-the-art methods, including
baseline language model generation, fine-tuning for factual recall, fine-tuning
for abstention behavior, and retrieval-augmented generation (RAG). Our results
demonstrate that although RAG and fine-tuning improve performance, they fail to
eliminate hallucinations. In contrast, the Licensing Oracle achieved perfect
abstention precision (AP = 1.0) and zero false answers (FAR-NE = 0.0), ensuring
that only valid claims were generated with 89.1% accuracy in factual responses.
This work shows that architectural innovations, such as the Licensing Oracle,
offer a necessary and sufficient solution for hallucinations in domains with
structured knowledge representations, offering guarantees that statistical
methods cannot match. Although the Licensing Oracle is specifically designed to
address hallucinations in fact-based domains, its framework lays the groundwork
for truth-constrained generation in future AI systems, providing a new path
toward reliable, epistemically grounded models.