MedHallu: Ein umfassender Benchmark zur Erkennung medizinischer Halluzinationen in großen Sprachmodellen

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Autoren: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Zusammenfassung

Fortschritte bei großen Sprachmodellen (LLMs) und deren zunehmende Verwendung in der medizinischen Frage-Antwort-Interaktion erfordern eine rigorose Bewertung ihrer Zuverlässigkeit. Eine zentrale Herausforderung liegt in der sogenannten Halluzination, bei der Modelle plausible, aber faktisch falsche Antworten generieren. Im medizinischen Bereich birgt dies ernsthafte Risiken für die Patientensicherheit und die klinische Entscheidungsfindung. Um dies zu adressieren, stellen wir MedHallu vor, den ersten speziell für die Erkennung medizinischer Halluzinationen entwickelten Benchmark. MedHallu umfasst 10.000 hochwertige Frage-Antwort-Paare, die aus PubMedQA abgeleitet wurden, wobei halluzinierte Antworten systematisch durch eine kontrollierte Pipeline generiert wurden. Unsere Experimente zeigen, dass state-of-the-art LLMs, einschließlich GPT-4o, Llama-3.1 und das medizinisch feinabgestimmte UltraMedical, mit dieser binären Halluzinationserkennungsaufgabe Schwierigkeiten haben, wobei das beste Modell einen F1-Score von lediglich 0,625 bei der Erkennung von „schweren“ Halluzinationen erreicht. Mithilfe von bidirektionaler Entailment-Clustering zeigen wir, dass schwerer zu erkennende Halluzinationen semantisch näher an der Wahrheit liegen. Durch Experimente zeigen wir außerdem, dass die Einbindung domänenspezifischen Wissens und die Einführung einer „unsicher“-Kategorie als eine der Antwortkategorien die Präzision und F1-Scores um bis zu 38 % im Vergleich zu den Baselines verbessern.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.