MedHallu: Un Benchmark Completo per il Rilevamento di Allucinazioni Mediche nei Modelli Linguistici di Grande Dimensione

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Autori: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Abstract

I progressi nei Modelli Linguistici di Grande Dimensione (LLM) e il loro crescente utilizzo nel campo delle risposte a domande mediche rendono necessaria una valutazione rigorosa della loro affidabilità. Una sfida cruciale è rappresentata dall'allucinazione, in cui i modelli generano output plausibili ma fattualmente errati. Nel contesto medico, ciò comporta seri rischi per la sicurezza dei pazienti e per il processo decisionale clinico. Per affrontare questo problema, introduciamo MedHallu, il primo benchmark specificamente progettato per il rilevamento delle allucinazioni mediche. MedHallu comprende 10.000 coppie domanda-risposta di alta qualità derivate da PubMedQA, con risposte allucinate generate sistematicamente attraverso una pipeline controllata. I nostri esperimenti dimostrano che gli LLM all'avanguardia, tra cui GPT-4o, Llama-3.1 e il modello medicalmente affinato UltraMedical, faticano in questo compito binario di rilevamento delle allucinazioni, con il miglior modello che raggiunge un punteggio F1 di appena 0.625 per il rilevamento delle allucinazioni della categoria "difficile". Utilizzando il clustering bidirezionale di implicazione, dimostriamo che le allucinazioni più difficili da rilevare sono semanticamente più vicine alla verità di base. Attraverso gli esperimenti, mostriamo anche che l'incorporazione di conoscenze specifiche del dominio e l'introduzione di una categoria "non sicuro" come una delle opzioni di risposta migliorano la precisione e i punteggi F1 fino al 38% rispetto ai baselines.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.