REFIND: Retrieval-gestützte Erkennung faktischer Halluzinationen in großen Sprachmodellen

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

Autoren: DongGeon Lee, Hwanjo Yu

cs.AI

Zusammenfassung

Halluzinationen in den Ausgaben großer Sprachmodelle (LLMs) schränken deren Zuverlässigkeit bei wissensintensiven Aufgaben wie der Beantwortung von Fragen erheblich ein. Um diese Herausforderung zu bewältigen, stellen wir REFIND (Retrieval-augmented Factuality HallucINation Detection) vor, ein neuartiges Framework, das halluzinierte Textabschnitte in LLM-Ausgaben durch die direkte Nutzung von abgerufenen Dokumenten erkennt. Als Teil von REFIND schlagen wir das Context Sensitivity Ratio (CSR) vor, eine neue Metrik, die die Empfindlichkeit von LLM-Ausgaben gegenüber abgerufenen Belegen quantifiziert. Dieser innovative Ansatz ermöglicht es REFIND, Halluzinationen effizient und präzise zu erkennen, wodurch es sich von bestehenden Methoden abhebt. In der Evaluierung zeigte REFIND Robustheit über neun Sprachen hinweg, einschließlich ressourcenarmer Umgebungen, und übertraf Baseline-Modelle deutlich, indem es überlegene IoU-Werte bei der Identifizierung von halluzinierten Textabschnitten erzielte. Diese Arbeit unterstreicht die Effektivität der Quantifizierung von Kontextempfindlichkeit für die Halluzinationserkennung und ebnet so den Weg für zuverlässigere und vertrauenswürdigere LLM-Anwendungen in verschiedenen Sprachen.

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.