Abstract Large Language Models (LLMs) have demonstrated remarkable capabilities in various domains, including healthcare. However, their tendency to generate factually incorrect or misleading information, known as hallucinations, poses significant risks in medical applications. This paper introduces MedHallu, a novel benchmark specifically designed to evaluate and detect medical hallucinations in LLMs. MedHallu encompasses a diverse set of medical scenarios, ranging from common ailments to rare diseases, and includes both structured and unstructured data formats. We evaluate several state-of-the-art LLMs on MedHallu, revealing substantial variations in their ability to handle medical hallucinations. Our findings highlight the need for rigorous testing and improvement of LLMs in medical contexts, and provide a foundation for future research in this critical area. The MedHallu benchmark and associated resources are publicly available to facilitate further advancements in detecting and mitigating medical hallucinations in LLMs.

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Auteurs: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Samenvatting

Vooruitgang in grote taalmmodellen (LLM's) en hun toenemend gebruik in medische vraag-antwoordtoepassingen vereisen een rigoureuze evaluatie van hun betrouwbaarheid. Een kritieke uitdaging ligt in hallucinatie, waarbij modellen plausibele maar feitelijk onjuiste uitvoer genereren. In het medische domein brengt dit serieuze risico's met zich mee voor patiëntveiligheid en klinische besluitvorming. Om dit aan te pakken, introduceren we MedHallu, de eerste benchmark die specifiek is ontworpen voor het detecteren van medische hallucinaties. MedHallu bestaat uit 10.000 hoogwaardige vraag-antwoordparen afgeleid van PubMedQA, waarbij hallucinerende antwoorden systematisch zijn gegenereerd via een gecontroleerde pijplijn. Onze experimenten tonen aan dat state-of-the-art LLM's, waaronder GPT-4o, Llama-3.1 en het medisch gefinetunede UltraMedical, moeite hebben met deze binaire hallucinatiedetectietaak, waarbij het beste model een F1-score van slechts 0,625 behaalt voor het detecteren van hallucinaties in de "moeilijke" categorie. Door middel van bidirectionele entailment-clustering laten we zien dat moeilijker te detecteren hallucinaties semantisch dichter bij de grondwaarheid liggen. Via experimenten tonen we ook aan dat het integreren van domeinspecifieke kennis en het introduceren van een "weet ik niet zeker"-categorie als een van de antwoordcategorieën de precisie en F1-scores met tot wel 38% verbetert ten opzichte van de basislijnen.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.