Repensando la Atribución Visual para el Razonamiento de Radiografías de Tórax en Modelos de Visión y Lenguaje Grandes

Resumen

Los Modelos de Lenguaje Visual de Gran Escala (LVLMs) muestran potencial en aplicaciones médicas, pero su incapacidad para fundamentar fielmente las respuestas en evidencia visual genera serias preocupaciones sobre su fiabilidad clínica. Aunque los métodos de atribución visual se utilizan ampliamente para explicar las predicciones de los LVLMs, si estas explicaciones reflejan realmente la evidencia visual subyacente a la decisión del modelo no está en gran medida verificado, ya que las anotaciones de verdad fundamental para el razonamiento interno del modelo suelen no estar disponibles. Abordamos esta cuestión para el razonamiento en radiografías de tórax (CXR) desarrollando un marco de evaluación causal que retiene únicamente las muestras de CXR-VQA para las cuales la región anotada por expertos se verifica, mediante edición contrafactual, como causalmente responsable de la predicción del modelo. Utilizando este marco en 11 métodos de atribución, seis LVLMs de código abierto y dos modos de salida (respuesta directa y razonamiento paso a paso), encontramos que los métodos de atribución existentes a menudo fallan en identificar la evidencia utilizada por los LVLMs. Para abordar este fallo, proponemos MedFocus, un método de atribución basado en conceptos que localiza regiones anatómicamente significativas mediante transporte óptimo desequilibrado y mide su efecto causal en las salidas del modelo a través de intervenciones dirigidas. MedFocus produce atribuciones espaciales, a nivel de conceptos y a nivel de tokens, y supera sustancialmente a los métodos anteriores, dando un paso hacia una atribución más fiable para los LVLMs médicos. Nuestros datos y código están disponibles en https://github.com/gzxiong/medfocus/.

English

Large Vision Language Models (LVLMs) show promise in medical applications, but their inability to faithfully ground responses in visual evidence raises serious concerns about clinical trustworthiness. While visual attribution methods are widely used to explain LVLM predictions, whether these explanations actually reflect the visual evidence underlying the model's decision is largely unverified, since ground-truth annotations for internal model reasoning are typically unavailable. We address this question for chest X-ray (CXR) reasoning by developing a causal evaluation framework that retains only CXR-VQA samples for which the expert-annotated region is verified, via counterfactual editing, to be causally responsible for the model's prediction. Using this framework across 11 attribution methods, six open-source LVLMs, and two output modes (direct answer and step-by-step reasoning), we find that existing attribution methods often fail to identify the evidence used by LVLMs. To address this failure, we propose MedFocus, a concept-based attribution method that localizes clinically meaningful anatomical regions via unbalanced optimal transport and measures their causal effect on model outputs through targeted interventions. MedFocus produces spatial, concept-level, and token-level attributions and substantially outperforms prior methods, taking a step toward more trustworthy attribution for medical LVLMs. Our data and code are available at https://github.com/gzxiong/medfocus/.