MedHallu: Um Benchmark Abrangente para Detectar Alucinações Médicas em Modelos de Linguagem de Grande Escala

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

Autores: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

Resumo

Os avanços em Modelos de Linguagem de Grande Escala (LLMs) e seu uso crescente em perguntas e respostas médicas exigem uma avaliação rigorosa de sua confiabilidade. Um desafio crítico reside na alucinação, onde os modelos geram saídas plausíveis, porém factualmente incorretas. No domínio médico, isso representa sérios riscos para a segurança do paciente e para a tomada de decisões clínicas. Para lidar com isso, apresentamos o MedHallu, o primeiro benchmark especificamente projetado para detecção de alucinação médica. O MedHallu é composto por 10.000 pares pergunta-resposta de alta qualidade derivados do PubMedQA, com respostas alucinadas geradas sistematicamente por meio de um pipeline controlado. Nossos experimentos mostram que os LLMs de última geração, incluindo o GPT-4o, Llama-3.1 e o UltraMedical, ajustado especificamente para a área médica, enfrentam dificuldades nessa tarefa de detecção binária de alucinação, com o melhor modelo alcançando um escore F1 tão baixo quanto 0,625 para detectar alucinações da categoria "difícil". Utilizando agrupamento de implicação bidirecional, mostramos que alucinações mais difíceis de detectar estão semanticamente mais próximas da verdade. Através de experimentos, também demonstramos que a incorporação de conhecimento específico do domínio e a introdução de uma categoria "não tenho certeza" como uma das categorias de resposta melhoram a precisão e os escores F1 em até 38% em relação aos resultados básicos.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.