ClinHallu: Un Benchmark para Diagnosticar Alucinaciones por Etapas en el Razonamiento de MLLM Médico

Resumen

La construcción de modelos de lenguaje grandes multimodales médicos (MLLM) fiables es fundamental para un soporte de decisiones clínicas confiable. Los puntos de referencia existentes sobre alucinaciones en el ámbito médico se centran principalmente en la recopilación de datos, pero a menudo ignoran el origen de dichas alucinaciones dentro del proceso de razonamiento. Observamos que las fuentes de alucinación varían entre muestras: los errores pueden surgir de un reconocimiento visual incorrecto, un recuerdo inadecuado de conocimientos médicos o una integración defectuosa del razonamiento. Para permitir un diagnóstico de alucinaciones a nivel de fuente, presentamos ClinHallu, un punto de referencia para el diagnóstico de alucinaciones por etapas en el razonamiento de MLLM médicos. ClinHallu contiene 7,031 instancias validadas, donde cada instancia se complementa con una traza estructurada de razonamiento desglosada en Reconocimiento Visual, Recuerdo de Conocimientos e Integración del Razonamiento. También empleamos intervenciones de reemplazo por etapas para medir cómo la corrección de etapas específicas afecta la respuesta final. Más allá de la evaluación, demostramos que el ajuste fino supervisado por trazas reduce las alucinaciones por etapas. ClinHallu proporciona un banco de pruebas detallado de alucinaciones para diagnosticar y mitigar fallos de razonamiento en MLLM médicos. El punto de referencia está disponible públicamente en https://github.com/alibaba-damo-academy/ClinHallu.

English

Building trustworthy medical multimodal large language models (MLLMs) is critical for reliable clinical decision support. Existing medical hallucination benchmarks mainly focus on data collection, but often ignore where hallucinations originate within the reasoning process. We find that hallucination sources vary across samples: errors may arise from visual misrecognition, incorrect medical knowledge recall, or flawed reasoning integration. To enable source-level hallucination diagnosis, we introduce ClinHallu, a benchmark for stage-wise hallucination diagnosis in medical MLLM reasoning. ClinHallu contains 7,031 validated instances, where each instance is augmented with a structured reasoning trace decomposed into Visual Recognition, Knowledge Recall, and Reasoning Integration. We also use stage-replacement interventions to measure how correcting specific stages affects the final answer. Beyond evaluation, we show that trace-supervised fine-tuning reduces stage-wise hallucinations. ClinHallu provides a fine-grained hallucination testbed for diagnosing and mitigating reasoning failures in medical MLLMs. The benchmark is publicly available at https://github.com/alibaba-damo-academy/ClinHallu.