LUMINA: コンテキスト-知識シグナルを用いたRAGシステムにおける幻覚検出
LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals
September 26, 2025
著者: Min-Hsuan Yeh, Yixuan Li, Tanwi Mallick
cs.AI
要旨
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の幻覚を抑制するため、応答を検索された文書に基づかせることを目的としています。しかし、正しく十分な文脈が与えられた場合でも、RAGベースのLLMは依然として幻覚を起こします。最近の研究では、これは外部文脈の利用とモデルの内部知識の間の不均衡に起因するとされており、幻覚検出のためにこれらの信号を定量化するいくつかのアプローチが試みられています。しかし、既存の手法は広範なハイパーパラメータチューニングを必要とするため、汎用性が制限されています。本研究では、LUMINAという新しいフレームワークを提案します。LUMINAは、文脈-知識信号を通じてRAGシステムの幻覚を検出します：外部文脈の利用は分布距離によって定量化され、内部知識の利用はトランスフォーマー層間での予測トークンの進化を追跡することで測定されます。さらに、これらの測定値を統計的に検証するフレームワークを導入します。一般的なRAG幻覚ベンチマークと4つのオープンソースLLMを用いた実験では、LUMINAが一貫して高いAUROCおよびAUPRCスコアを達成し、HalluRAGにおいて従来の利用ベースの手法を最大+13% AUROCで上回りました。さらに、LUMINAは検索品質やモデルマッチングに関する緩和された仮定の下でも堅牢であり、効果性と実用性の両方を提供します。
English
Retrieval-Augmented Generation (RAG) aims to mitigate hallucinations in large
language models (LLMs) by grounding responses in retrieved documents. Yet,
RAG-based LLMs still hallucinate even when provided with correct and sufficient
context. A growing line of work suggests that this stems from an imbalance
between how models use external context and their internal knowledge, and
several approaches have attempted to quantify these signals for hallucination
detection. However, existing methods require extensive hyperparameter tuning,
limiting their generalizability. We propose LUMINA, a novel framework that
detects hallucinations in RAG systems through context-knowledge signals:
external context utilization is quantified via distributional distance, while
internal knowledge utilization is measured by tracking how predicted tokens
evolve across transformer layers. We further introduce a framework for
statistically validating these measurements. Experiments on common RAG
hallucination benchmarks and four open-source LLMs show that LUMINA achieves
consistently high AUROC and AUPRC scores, outperforming prior utilization-based
methods by up to +13% AUROC on HalluRAG. Moreover, LUMINA remains robust under
relaxed assumptions about retrieval quality and model matching, offering both
effectiveness and practicality.