REFIND: 大規模言語モデルにおける検索拡張型事実性幻覚検出

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

著者: DongGeon Lee, Hwanjo Yu

cs.AI

要旨

大規模言語モデル（LLM）の出力における幻覚（hallucination）は、質問応答などの知識集約型タスクにおける信頼性を著しく制限する。この課題に対処するため、我々はREFIND（Retrieval-augmented Factuality hallucINation Detection）を提案する。これは、検索された文書を直接活用してLLM出力内の幻覚スパンを検出する新しいフレームワークである。REFINDの一部として、LLM出力の検索エビデンスに対する感度を定量化する新たな指標であるContext Sensitivity Ratio（CSR）を提案する。この革新的なアプローチにより、REFINDは既存の手法と一線を画し、効率的かつ正確に幻覚を検出することが可能となる。評価において、REFINDは低リソース環境を含む9つの言語にわたる堅牢性を示し、ベースラインモデルを大幅に上回り、幻覚スパンの識別において優れたIoUスコアを達成した。本研究は、幻覚検出における文脈感度の定量化の有効性を強調し、多様な言語におけるより信頼性の高いLLMアプリケーションの道を開くものである。

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.