REFIND: Rilevamento delle Allucinazioni di Fatticità Potenziato dal Recupero nei Grandi Modelli Linguistici

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

Autori: DongGeon Lee, Hwanjo Yu

cs.AI

Abstract

Le allucinazioni negli output dei modelli linguistici di grandi dimensioni (LLM) limitano gravemente la loro affidabilità in compiti ad alta intensità di conoscenza, come il question answering. Per affrontare questa sfida, introduciamo REFIND (Retrieval-augmented Factuality hallucINation Detection), un nuovo framework che rileva segmenti allucinati negli output degli LLM sfruttando direttamente documenti recuperati. Come parte di REFIND, proponiamo il Context Sensitivity Ratio (CSR), una nuova metrica che quantifica la sensibilità degli output degli LLM rispetto alle prove recuperate. Questo approccio innovativo consente a REFIND di rilevare in modo efficiente e accurato le allucinazioni, distinguendosi dai metodi esistenti. Nella valutazione, REFIND ha dimostrato robustezza in nove lingue, inclusi contesti a bassa risorsa, e ha superato significativamente i modelli di riferimento, ottenendo punteggi IoU superiori nell'identificazione dei segmenti allucinati. Questo lavoro evidenzia l'efficacia della quantificazione della sensibilità al contesto per il rilevamento delle allucinazioni, aprendo così la strada a applicazioni LLM più affidabili e affidabili in diverse lingue.

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.