MedHallu : Un Benchmark Complet pour la Détection des Hallucinations Médicales dans les Grands Modèles de Langage

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Auteurs: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Résumé

Les avancées des modèles de langage de grande taille (LLMs) et leur utilisation croissante dans le domaine des questions-réponses médicales nécessitent une évaluation rigoureuse de leur fiabilité. Un défi majeur réside dans le phénomène d'hallucination, où les modèles génèrent des réponses plausibles mais factuellement incorrectes. Dans le domaine médical, cela pose des risques sérieux pour la sécurité des patients et la prise de décision clinique. Pour y remédier, nous introduisons MedHallu, le premier benchmark spécifiquement conçu pour la détection des hallucinations médicales. MedHallu comprend 10 000 paires questions-réponses de haute qualité issues de PubMedQA, avec des réponses hallucinées systématiquement générées via un pipeline contrôlé. Nos expériences montrent que les LLMs de pointe, y compris GPT-4o, Llama-3.1 et le modèle médicalement affiné UltraMedical, peinent à accomplir cette tâche binaire de détection d'hallucinations, le meilleur modèle atteignant un score F1 aussi bas que 0,625 pour détecter les hallucinations de catégorie "difficile". En utilisant un clustering d'implication bidirectionnelle, nous montrons que les hallucinations plus difficiles à détecter sont sémantiquement plus proches de la vérité de référence. À travers des expériences, nous montrons également que l'intégration de connaissances spécifiques au domaine et l'introduction d'une catégorie "je ne suis pas sûr" parmi les réponses améliorent la précision et les scores F1 jusqu'à 38 % par rapport aux bases de référence.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.