ClinHallu : un benchmark pour diagnostiquer les hallucinations par étapes dans le raisonnement des MLLM médicaux

Résumé

La construction de modèles de langage multimodaux médicaux de grande taille (MLLMs) fiables est essentielle pour un soutien fiable à la décision clinique. Les référentiels existants sur les hallucinations médicales se concentrent principalement sur la collecte de données, mais ignorent souvent l’origine des hallucinations dans le processus de raisonnement. Nous constatons que les sources d’hallucination varient selon les échantillons : les erreurs peuvent provenir d’une méconnaissance visuelle, d’un rappel incorrect de connaissances médicales ou d’une intégration défaillante du raisonnement. Pour permettre un diagnostic des hallucinations au niveau des sources, nous introduisons ClinHallu, un référentiel pour le diagnostic par étape des hallucinations dans le raisonnement des MLLMs médicaux. ClinHallu contient 7 031 instances validées, chaque instance étant enrichie d’une trace de raisonnement structurée décomposée en Reconnaissance Visuelle, Rappel de Connaissances et Intégration du Raisonnement. Nous utilisons également des interventions de remplacement d’étapes pour mesurer comment la correction d’étapes spécifiques affecte la réponse finale. Au-delà de l’évaluation, nous montrons que le fine-tuning supervisé par trace réduit les hallucinations par étape. ClinHallu fournit un banc d’essai d’hallucinations à grain fin pour diagnostiquer et atténuer les échecs de raisonnement dans les MLLMs médicaux. Le référentiel est accessible publiquement à l’adresse https://github.com/alibaba-damo-academy/ClinHallu.

English

Building trustworthy medical multimodal large language models (MLLMs) is critical for reliable clinical decision support. Existing medical hallucination benchmarks mainly focus on data collection, but often ignore where hallucinations originate within the reasoning process. We find that hallucination sources vary across samples: errors may arise from visual misrecognition, incorrect medical knowledge recall, or flawed reasoning integration. To enable source-level hallucination diagnosis, we introduce ClinHallu, a benchmark for stage-wise hallucination diagnosis in medical MLLM reasoning. ClinHallu contains 7,031 validated instances, where each instance is augmented with a structured reasoning trace decomposed into Visual Recognition, Knowledge Recall, and Reasoning Integration. We also use stage-replacement interventions to measure how correcting specific stages affects the final answer. Beyond evaluation, we show that trace-supervised fine-tuning reduces stage-wise hallucinations. ClinHallu provides a fine-grained hallucination testbed for diagnosing and mitigating reasoning failures in medical MLLMs. The benchmark is publicly available at https://github.com/alibaba-damo-academy/ClinHallu.