MedHallu: Комплексный эталонный тест для выявления медицинских галлюцинаций в крупных языковых моделях

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Авторы: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Аннотация

These findings highlight the need for domain-specific benchmarks and evaluation frameworks to ensure the safe deployment of LLMs in healthcare.Достижения в области больших языковых моделей (LLM) и их всё более широкое использование в медицинских вопросах и ответах требуют тщательной оценки их надежности. Основная проблема заключается в галлюцинациях, когда модели генерируют правдоподобные, но фактически неверные ответы. В медицинской сфере это представляет серьезные риски для безопасности пациентов и принятия клинических решений. Для решения этой проблемы мы представляем MedHallu — первый эталонный тест, специально разработанный для обнаружения медицинских галлюцинаций. MedHallu включает 10 000 высококачественных пар вопросов и ответов, полученных из PubMedQA, с систематически сгенерированными галлюцинированными ответами через контролируемый процесс. Наши эксперименты показывают, что современные LLM, включая GPT-4o, Llama-3.1 и медицински дообученную UltraMedical, испытывают трудности с этой задачей бинарного обнаружения галлюцинаций, причем лучшая модель достигает F1-меры всего 0,625 для обнаружения галлюцинаций категории "сложные". Используя двунаправленную кластеризацию по логическому следствию, мы показываем, что более сложные для обнаружения галлюцинации семантически ближе к истинным данным. В ходе экспериментов мы также показываем, что включение предметных знаний и введение категории "не уверен" в качестве одной из категорий ответов повышает точность и F1-меру до 38% по сравнению с базовыми показателями. Эти результаты подчеркивают необходимость предметно-ориентированных эталонных тестов и оценочных рамок для обеспечения безопасного внедрения LLM в здравоохранении.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.