LUMINA: Het detecteren van hallucinaties in RAG-systemen met context-kennis signalen

LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals

September 26, 2025

Auteurs: Min-Hsuan Yeh, Yixuan Li, Tanwi Mallick

cs.AI

Samenvatting

Retrieval-Augmented Generation (RAG) heeft als doel hallucinaties in grote taalmodellen (LLMs) te verminderen door antwoorden te verankeren in opgehaalde documenten. Toch hallucineren RAG-gebaseerde LLMs nog steeds, zelfs wanneer ze correcte en voldoende context krijgen. Een groeiende onderzoekslijn suggereert dat dit voortkomt uit een onbalans tussen hoe modellen externe context gebruiken en hun interne kennis, en verschillende benaderingen hebben geprobeerd deze signalen te kwantificeren voor hallucinatiedetectie. Bestaande methoden vereisen echter uitgebreide hyperparameterafstemming, wat hun generaliseerbaarheid beperkt. Wij stellen LUMINA voor, een nieuw framework dat hallucinaties in RAG-systemen detecteert via context-kennissignalen: het gebruik van externe context wordt gekwantificeerd via distributieafstand, terwijl het gebruik van interne kennis wordt gemeten door te volgen hoe voorspelde tokens evolueren over transformer-lagen. We introduceren verder een framework voor het statistisch valideren van deze metingen. Experimenten op veelgebruikte RAG-hallucinatiebenchmarks en vier open-source LLMs laten zien dat LUMINA consistent hoge AUROC- en AUPRC-scores behaalt, en eerdere gebruik-gebaseerde methoden met tot wel +13% AUROC overtreft op HalluRAG. Bovendien blijft LUMINA robuust onder versoepelde aannames over ophaalkwaliteit en modelmatching, wat zowel effectiviteit als praktische bruikbaarheid biedt.

English

Retrieval-Augmented Generation (RAG) aims to mitigate hallucinations in large language models (LLMs) by grounding responses in retrieved documents. Yet, RAG-based LLMs still hallucinate even when provided with correct and sufficient context. A growing line of work suggests that this stems from an imbalance between how models use external context and their internal knowledge, and several approaches have attempted to quantify these signals for hallucination detection. However, existing methods require extensive hyperparameter tuning, limiting their generalizability. We propose LUMINA, a novel framework that detects hallucinations in RAG systems through context-knowledge signals: external context utilization is quantified via distributional distance, while internal knowledge utilization is measured by tracking how predicted tokens evolve across transformer layers. We further introduce a framework for statistically validating these measurements. Experiments on common RAG hallucination benchmarks and four open-source LLMs show that LUMINA achieves consistently high AUROC and AUPRC scores, outperforming prior utilization-based methods by up to +13% AUROC on HalluRAG. Moreover, LUMINA remains robust under relaxed assumptions about retrieval quality and model matching, offering both effectiveness and practicality.