LUMINA : Détection des hallucinations dans les systèmes RAG grâce aux signaux contexte-connaissance

LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals

September 26, 2025

papers.authors: Min-Hsuan Yeh, Yixuan Li, Tanwi Mallick

cs.AI

papers.abstract

La Génération Augmentée par Récupération (Retrieval-Augmented Generation, RAG) vise à réduire les hallucinations dans les grands modèles de langage (LLMs) en ancrant les réponses dans des documents récupérés. Pourtant, les LLMs basés sur RAG continuent de produire des hallucinations même lorsqu'ils disposent d'un contexte correct et suffisant. Un nombre croissant de travaux suggère que cela découle d'un déséquilibre entre la manière dont les modèles utilisent le contexte externe et leurs connaissances internes, et plusieurs approches ont tenté de quantifier ces signaux pour la détection des hallucinations. Cependant, les méthodes existantes nécessitent un réglage approfondi des hyperparamètres, limitant ainsi leur généralisabilité. Nous proposons LUMINA, un cadre novateur qui détecte les hallucinations dans les systèmes RAG à travers des signaux de contexte-connaissance : l'utilisation du contexte externe est quantifiée via une distance distributionnelle, tandis que l'utilisation des connaissances internes est mesurée en suivant l'évolution des tokens prédits à travers les couches du transformateur. Nous introduisons également un cadre pour valider statistiquement ces mesures. Les expériences sur des benchmarks courants d'hallucinations RAG et quatre LLMs open-source montrent que LUMINA atteint des scores AUROC et AUPRC constamment élevés, surpassant les méthodes basées sur l'utilisation précédentes jusqu'à +13% AUROC sur HalluRAG. De plus, LUMINA reste robuste sous des hypothèses assouplies concernant la qualité de la récupération et l'appariement des modèles, offrant à la fois efficacité et praticabilité.

English

Retrieval-Augmented Generation (RAG) aims to mitigate hallucinations in large language models (LLMs) by grounding responses in retrieved documents. Yet, RAG-based LLMs still hallucinate even when provided with correct and sufficient context. A growing line of work suggests that this stems from an imbalance between how models use external context and their internal knowledge, and several approaches have attempted to quantify these signals for hallucination detection. However, existing methods require extensive hyperparameter tuning, limiting their generalizability. We propose LUMINA, a novel framework that detects hallucinations in RAG systems through context-knowledge signals: external context utilization is quantified via distributional distance, while internal knowledge utilization is measured by tracking how predicted tokens evolve across transformer layers. We further introduce a framework for statistically validating these measurements. Experiments on common RAG hallucination benchmarks and four open-source LLMs show that LUMINA achieves consistently high AUROC and AUPRC scores, outperforming prior utilization-based methods by up to +13% AUROC on HalluRAG. Moreover, LUMINA remains robust under relaxed assumptions about retrieval quality and model matching, offering both effectiveness and practicality.