REFIND: Retrieval-augmentatie voor het detecteren van feitelijke hallucinaties in grote taalmodellen

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

Auteurs: DongGeon Lee, Hwanjo Yu

cs.AI

Samenvatting

Hallucinaties in de uitvoer van grote taalmodellen (LLM's) beperken hun betrouwbaarheid aanzienlijk bij kennisintensieve taken zoals vraagbeantwoording. Om deze uitdaging aan te pakken, introduceren we REFIND (Retrieval-augmented Factuality hallucINation Detection), een nieuw framework dat hallucinaties in LLM-uitvoer detecteert door direct gebruik te maken van opgehaalde documenten. Als onderdeel van REFIND stellen we de Context Sensitivity Ratio (CSR) voor, een nieuwe metriek die de gevoeligheid van LLM-uitvoer voor opgehaald bewijsmateriaal kwantificeert. Deze innovatieve aanpak stelt REFIND in staat om hallucinaties efficiënt en nauwkeurig te detecteren, wat het onderscheidt van bestaande methoden. In de evaluatie toonde REFIND robuustheid aan in negen talen, inclusief situaties met beperkte bronnen, en presteerde het aanzienlijk beter dan baseline-modellen, met superieure IoU-scores bij het identificeren van hallucinaties. Dit werk benadrukt de effectiviteit van het kwantificeren van contextgevoeligheid voor hallucinatiedetectie, waardoor de weg wordt geëffend voor betrouwbaardere en vertrouwenswaardigere LLM-toepassingen in diverse talen.

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.