LUMINA: Detección de Alucinaciones en Sistemas RAG mediante Señales de Contexto-Conocimiento

LUMINA: Detecting Hallucinations in RAG System with Context-Knowledge Signals

September 26, 2025

Autores: Min-Hsuan Yeh, Yixuan Li, Tanwi Mallick

cs.AI

Resumen

La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) busca mitigar las alucinaciones en los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) al fundamentar las respuestas en documentos recuperados. Sin embargo, los LLMs basados en RAG aún generan alucinaciones incluso cuando se les proporciona un contexto correcto y suficiente. Una línea creciente de investigación sugiere que esto se debe a un desequilibrio entre cómo los modelos utilizan el contexto externo y su conocimiento interno, y varios enfoques han intentado cuantificar estas señales para la detección de alucinaciones. No obstante, los métodos existentes requieren un ajuste extensivo de hiperparámetros, lo que limita su generalización. Proponemos LUMINA, un marco novedoso que detecta alucinaciones en sistemas RAG mediante señales de contexto-conocimiento: la utilización del contexto externo se cuantifica a través de la distancia distribucional, mientras que la utilización del conocimiento interno se mide rastreando cómo evolucionan los tokens predichos a través de las capas del transformador. Además, introducimos un marco para validar estadísticamente estas mediciones. Los experimentos en puntos de referencia comunes de alucinaciones en RAG y cuatro LLMs de código abierto muestran que LUMINA alcanza puntuaciones consistentemente altas en AUROC y AUPRC, superando a los métodos basados en utilización previos en hasta un +13% de AUROC en HalluRAG. Además, LUMINA se mantiene robusto bajo supuestos relajados sobre la calidad de la recuperación y la coincidencia del modelo, ofreciendo tanto efectividad como practicidad.

English

Retrieval-Augmented Generation (RAG) aims to mitigate hallucinations in large language models (LLMs) by grounding responses in retrieved documents. Yet, RAG-based LLMs still hallucinate even when provided with correct and sufficient context. A growing line of work suggests that this stems from an imbalance between how models use external context and their internal knowledge, and several approaches have attempted to quantify these signals for hallucination detection. However, existing methods require extensive hyperparameter tuning, limiting their generalizability. We propose LUMINA, a novel framework that detects hallucinations in RAG systems through context-knowledge signals: external context utilization is quantified via distributional distance, while internal knowledge utilization is measured by tracking how predicted tokens evolve across transformer layers. We further introduce a framework for statistically validating these measurements. Experiments on common RAG hallucination benchmarks and four open-source LLMs show that LUMINA achieves consistently high AUROC and AUPRC scores, outperforming prior utilization-based methods by up to +13% AUROC on HalluRAG. Moreover, LUMINA remains robust under relaxed assumptions about retrieval quality and model matching, offering both effectiveness and practicality.