MedHallu: 大規模言語モデルにおける医療的幻覚検出のための包括的ベンチマーク

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models

February 20, 2025

著者: Shrey Pandit, Jiawei Xu, Junyuan Hong, Zhangyang Wang, Tianlong Chen, Kaidi Xu, Ying Ding

cs.AI

要旨

大規模言語モデル（LLMs）の進展と、医療分野における質問応答への利用の増加に伴い、その信頼性を厳密に評価することが必要となっている。特に重要な課題は、モデルが一見妥当だが事実に反する出力を生成する「幻覚（hallucination）」現象である。医療領域では、これは患者の安全や臨床意思決定に重大なリスクをもたらす。この問題に対処するため、我々は医療幻覚検出に特化した初のベンチマークであるMedHalluを提案する。MedHalluは、PubMedQAから抽出された10,000の高品質な質問応答ペアで構成され、幻覚を含む回答は制御されたパイプラインを通じて体系的に生成されている。実験結果から、GPT-4o、Llama-3.1、および医療分野でファインチューニングされたUltraMedicalを含む最先端のLLMsが、この二値幻覚検出タスクに苦戦することが明らかとなった。特に「困難」カテゴリの幻覚検出において、最高のモデルでもF1スコアは0.625に留まった。双方向含意クラスタリングを用いて、検出が困難な幻覚は意味的に正解に近いことを示した。さらに、実験を通じて、ドメイン固有の知識を組み込むことや、回答カテゴリに「不明」を追加することが、ベースラインと比較して精度およびF1スコアを最大38％向上させることを実証した。

English

Advancements in Large Language Models (LLMs) and their increasing use in medical question-answering necessitate rigorous evaluation of their reliability. A critical challenge lies in hallucination, where models generate plausible yet factually incorrect outputs. In the medical domain, this poses serious risks to patient safety and clinical decision-making. To address this, we introduce MedHallu, the first benchmark specifically designed for medical hallucination detection. MedHallu comprises 10,000 high-quality question-answer pairs derived from PubMedQA, with hallucinated answers systematically generated through a controlled pipeline. Our experiments show that state-of-the-art LLMs, including GPT-4o, Llama-3.1, and the medically fine-tuned UltraMedical, struggle with this binary hallucination detection task, with the best model achieving an F1 score as low as 0.625 for detecting "hard" category hallucinations. Using bidirectional entailment clustering, we show that harder-to-detect hallucinations are semantically closer to ground truth. Through experiments, we also show incorporating domain-specific knowledge and introducing a "not sure" category as one of the answer categories improves the precision and F1 scores by up to 38% relative to baselines.