ClinHallu: Um Benchmark para Diagnosticar Alucinações em Estágios no Raciocínio de MLLM Médico

Resumo

Construir modelos de linguagem grandes multimodais médicos confiáveis (MLLMs) é crítico para um suporte à decisão clínica confiável. Os benchmarks existentes de alucinação médica focam principalmente na coleta de dados, mas frequentemente ignoram onde as alucinações se originam dentro do processo de raciocínio. Descobrimos que as fontes de alucinação variam entre amostras: erros podem surgir de reconhecimento visual incorreto, recuperação incorreta de conhecimento médico ou integração defeituosa do raciocínio. Para permitir o diagnóstico de alucinação em nível de fonte, apresentamos ClinHallu, um benchmark para diagnóstico de alucinação por estágios no raciocínio de MLLMs médicos. ClinHallu contém 7.031 instâncias validadas, onde cada instância é aumentada com um traço de raciocínio estruturado decomposto em Reconhecimento Visual, Recuperação de Conhecimento e Integração de Raciocínio. Também usamos intervenções de substituição de estágios para medir como a correção de estágios específicos afeta a resposta final. Além da avaliação, mostramos que o ajuste fino supervisionado por traços reduz alucinações por estágios. ClinHallu fornece um ambiente de teste de alucinação de granularidade fina para diagnosticar e mitigar falhas de raciocínio em MLLMs médicos. O benchmark está disponível publicamente em https://github.com/alibaba-damo-academy/ClinHallu.

English

Building trustworthy medical multimodal large language models (MLLMs) is critical for reliable clinical decision support. Existing medical hallucination benchmarks mainly focus on data collection, but often ignore where hallucinations originate within the reasoning process. We find that hallucination sources vary across samples: errors may arise from visual misrecognition, incorrect medical knowledge recall, or flawed reasoning integration. To enable source-level hallucination diagnosis, we introduce ClinHallu, a benchmark for stage-wise hallucination diagnosis in medical MLLM reasoning. ClinHallu contains 7,031 validated instances, where each instance is augmented with a structured reasoning trace decomposed into Visual Recognition, Knowledge Recall, and Reasoning Integration. We also use stage-replacement interventions to measure how correcting specific stages affects the final answer. Beyond evaluation, we show that trace-supervised fine-tuning reduces stage-wise hallucinations. ClinHallu provides a fine-grained hallucination testbed for diagnosing and mitigating reasoning failures in medical MLLMs. The benchmark is publicly available at https://github.com/alibaba-damo-academy/ClinHallu.