Repensando a Atribuição Visual para o Raciocínio em Radiografias de Tórax em Grandes Modelos de Visão e Linguagem

Resumo

Grandes Modelos de Linguagem Visual (GMLVs) mostram potencial em aplicações médicas, mas sua incapacidade de fundamentar fielmente as respostas em evidências visuais levanta sérias preocupações sobre a confiabilidade clínica. Embora métodos de atribuição visual sejam amplamente utilizados para explicar as previsões dos GMLVs, se essas explicações realmente refletem as evidências visuais subjacentes à decisão do modelo permanece em grande parte não verificado, uma vez que anotações de referência para o raciocínio interno do modelo geralmente não estão disponíveis. Abordamos essa questão para o raciocínio em radiografias de tórax (CXR) desenvolvendo uma estrutura de avaliação causal que retém apenas amostras CXR-VQA nas quais a região anotada por especialistas é verificada, por meio de edição contrafactual, como sendo causalmente responsável pela previsão do modelo. Utilizando essa estrutura em 11 métodos de atribuição, seis GMLVs de código aberto e dois modos de saída (resposta direta e raciocínio passo a passo), descobrimos que os métodos de atribuição existentes frequentemente falham em identificar as evidências utilizadas pelos GMLVs. Para lidar com essa falha, propomos o MedFocus, um método de atribuição baseado em conceitos que localiza regiões anatômicas clinicamente significativas por meio de transporte ótimo desequilibrado e mede seu efeito causal nas saídas do modelo por meio de intervenções direcionadas. O MedFocus produz atribuições espaciais, em nível de conceito e em nível de token, e supera substancialmente os métodos anteriores, dando um passo em direção a uma atribuição mais confiável para GMLVs médicos. Nossos dados e código estão disponíveis em https://github.com/gzxiong/medfocus/.

English

Large Vision Language Models (LVLMs) show promise in medical applications, but their inability to faithfully ground responses in visual evidence raises serious concerns about clinical trustworthiness. While visual attribution methods are widely used to explain LVLM predictions, whether these explanations actually reflect the visual evidence underlying the model's decision is largely unverified, since ground-truth annotations for internal model reasoning are typically unavailable. We address this question for chest X-ray (CXR) reasoning by developing a causal evaluation framework that retains only CXR-VQA samples for which the expert-annotated region is verified, via counterfactual editing, to be causally responsible for the model's prediction. Using this framework across 11 attribution methods, six open-source LVLMs, and two output modes (direct answer and step-by-step reasoning), we find that existing attribution methods often fail to identify the evidence used by LVLMs. To address this failure, we propose MedFocus, a concept-based attribution method that localizes clinically meaningful anatomical regions via unbalanced optimal transport and measures their causal effect on model outputs through targeted interventions. MedFocus produces spatial, concept-level, and token-level attributions and substantially outperforms prior methods, taking a step toward more trustworthy attribution for medical LVLMs. Our data and code are available at https://github.com/gzxiong/medfocus/.