REFIND: Detecção de Alucinações Factuais Aumentada por Recuperação em Modelos de Linguagem de Grande Escala

REFIND: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models

February 19, 2025

Autores: DongGeon Lee, Hwanjo Yu

cs.AI

Resumo

Alucinações nas saídas de modelos de linguagem de grande escala (LLMs) limitam severamente sua confiabilidade em tarefas que demandam conhecimento, como a resposta a perguntas. Para enfrentar esse desafio, apresentamos o REFIND (Retrieval-augmented Factuality hallucINation Detection), uma estrutura inovadora que detecta trechos alucinados nas saídas de LLMs ao utilizar diretamente documentos recuperados. Como parte do REFIND, propomos a Razão de Sensibilidade ao Contexto (CSR), uma nova métrica que quantifica a sensibilidade das saídas de LLMs em relação a evidências recuperadas. Essa abordagem inovadora permite que o REFIND detecte alucinações de forma eficiente e precisa, destacando-se em relação aos métodos existentes. Na avaliação, o REFIND demonstrou robustez em nove idiomas, incluindo cenários de baixos recursos, e superou significativamente os modelos de referência, alcançando pontuações IoU superiores na identificação de trechos alucinados. Este trabalho destaca a eficácia de quantificar a sensibilidade ao contexto para a detecção de alucinações, abrindo caminho para aplicações de LLMs mais confiáveis e seguras em diversos idiomas.

English

Hallucinations in large language model (LLM) outputs severely limit their reliability in knowledge-intensive tasks such as question answering. To address this challenge, we introduce REFIND (Retrieval-augmented Factuality hallucINation Detection), a novel framework that detects hallucinated spans within LLM outputs by directly leveraging retrieved documents. As part of the REFIND, we propose the Context Sensitivity Ratio (CSR), a novel metric that quantifies the sensitivity of LLM outputs to retrieved evidence. This innovative approach enables REFIND to efficiently and accurately detect hallucinations, setting it apart from existing methods. In the evaluation, REFIND demonstrated robustness across nine languages, including low-resource settings, and significantly outperformed baseline models, achieving superior IoU scores in identifying hallucinated spans. This work highlights the effectiveness of quantifying context sensitivity for hallucination detection, thereby paving the way for more reliable and trustworthy LLM applications across diverse languages.