MedHallu: 대규모 언어 모델의 의학적 환각 현상 탐지를 위한 종합 벤치마크

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

저자: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

초록

대규모 언어 모델(LLMs)의 발전과 의학 질의응답 분야에서의 활용 증가는 이들의 신뢰성에 대한 엄격한 평가를 필요로 합니다. 중요한 과제 중 하나는 모델이 사실적으로는 틀렸지만 그럴듯한 출력을 생성하는 환각(hallucination) 문제입니다. 의료 영역에서 이는 환자 안전과 임상적 의사결정에 심각한 위험을 초래할 수 있습니다. 이를 해결하기 위해, 우리는 의학적 환각 탐지를 위해 특별히 설계된 최초의 벤치마크인 MedHallu를 소개합니다. MedHallu는 PubMedQA에서 도출된 10,000개의 고품질 질문-답변 쌍으로 구성되어 있으며, 통제된 파이프라인을 통해 체계적으로 생성된 환각 답변을 포함합니다. 우리의 실험 결과, GPT-4o, Llama-3.1 및 의학 분야에 미세 조정된 UltraMedical을 포함한 최신 LLMs도 이 이진 환각 탐지 과제에 어려움을 겪는 것으로 나타났으며, 가장 성능이 좋은 모델조차도 "어려운" 범주의 환각을 탐지하는 데 있어 F1 점수가 0.625에 불과했습니다. 양방향 함의 클러스터링을 통해, 탐지하기 더 어려운 환각이 실제 답변과 의미적으로 더 가깝다는 것을 보여줍니다. 또한 실험을 통해, 도메인 특화 지식을 통합하고 "확실하지 않음" 카테고리를 답변 옵션 중 하나로 도입함으로써 정밀도와 F1 점수가 기준선 대비 최대 38%까지 향상될 수 있음을 확인했습니다.

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.