REFIND: Detección de Alucinaciones de Factualidad Aumentada por Recuperación en Modelos de Lenguaje de Gran Escala

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

Autores: DongGeon Lee, Hwanjo Yu

cs.AI

Resumen

Las alucinaciones en las salidas de los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) limitan severamente su fiabilidad en tareas intensivas en conocimiento, como la respuesta a preguntas. Para abordar este desafío, presentamos REFIND (Retrieval-augmented Factuality hallucINation Detection), un marco novedoso que detecta segmentos alucinados en las salidas de los LLM al aprovechar directamente documentos recuperados. Como parte de REFIND, proponemos la Razón de Sensibilidad al Contexto (CSR, por sus siglas en inglés), una métrica innovadora que cuantifica la sensibilidad de las salidas de los LLM a la evidencia recuperada. Este enfoque innovador permite a REFIND detectar alucinaciones de manera eficiente y precisa, distinguiéndose de los métodos existentes. En la evaluación, REFIND demostró robustez en nueve idiomas, incluyendo entornos de bajos recursos, y superó significativamente a los modelos de referencia, logrando puntuaciones IoU superiores en la identificación de segmentos alucinados. Este trabajo destaca la efectividad de cuantificar la sensibilidad al contexto para la detección de alucinaciones, allanando así el camino para aplicaciones de LLM más confiables y seguras en diversos idiomas.

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.