RadEdit: evaluación de resistencia de modelos de visión biomédica mediante edición de imágenes con difusión

RadEdit: stress-testing biomedical vision models via diffusion image editing

December 20, 2023

Autores: Fernando Pérez-García, Sam Bond-Taylor, Pedro P. Sanchez, Boris van Breugel, Daniel C. Castro, Harshita Sharma, Valentina Salvatelli, Maria T. A. Wetscherek, Hannah Richardson, Matthew P. Lungren, Aditya Nori, Javier Alvarez-Valle, Ozan Oktay, Maximilian Ilse

cs.AI

Resumen

Los conjuntos de datos de imágenes biomédicas suelen ser pequeños y sesgados, lo que significa que el rendimiento en el mundo real de los modelos predictivos puede ser sustancialmente menor de lo esperado en las pruebas internas. Este trabajo propone utilizar la edición generativa de imágenes para simular cambios en los conjuntos de datos y diagnosticar modos de fallo en los modelos de visión biomédica; esto puede usarse antes del despliegue para evaluar la preparación, reduciendo potencialmente costos y daños a los pacientes. Los métodos de edición existentes pueden producir cambios no deseados, con correlaciones espurias aprendidas debido a la co-ocurrencia de enfermedades e intervenciones de tratamiento, lo que limita su aplicabilidad práctica. Para abordar esto, entrenamos un modelo de difusión de texto a imagen en múltiples conjuntos de datos de radiografías de tórax e introducimos un nuevo método de edición, RadEdit, que utiliza múltiples máscaras, si están presentes, para restringir los cambios y garantizar la coherencia en las imágenes editadas. Consideramos tres tipos de cambios en los conjuntos de datos: cambio de adquisición, cambio de manifestación y cambio de población, y demostramos que nuestro enfoque puede diagnosticar fallos y cuantificar la robustez del modelo sin necesidad de recopilar datos adicionales, complementando herramientas más cualitativas para la IA explicable.

English

Biomedical imaging datasets are often small and biased, meaning that real-world performance of predictive models can be substantially lower than expected from internal testing. This work proposes using generative image editing to simulate dataset shifts and diagnose failure modes of biomedical vision models; this can be used in advance of deployment to assess readiness, potentially reducing cost and patient harm. Existing editing methods can produce undesirable changes, with spurious correlations learned due to the co-occurrence of disease and treatment interventions, limiting practical applicability. To address this, we train a text-to-image diffusion model on multiple chest X-ray datasets and introduce a new editing method RadEdit that uses multiple masks, if present, to constrain changes and ensure consistency in the edited images. We consider three types of dataset shifts: acquisition shift, manifestation shift, and population shift, and demonstrate that our approach can diagnose failures and quantify model robustness without additional data collection, complementing more qualitative tools for explainable AI.