Los modelos base de patología actuales no son robustos ante las diferencias entre centros médicos.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Autores: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Resumen

Los Modelos Fundamentales de Patología (FMs, por sus siglas en inglés) tienen un gran potencial para la atención médica. Antes de que puedan ser utilizados en la práctica clínica, es esencial asegurar que sean robustos ante las variaciones entre centros médicos. Medimos si los FMs de patología se centran en características biológicas como el tejido y el tipo de cáncer, o en las conocidas firmas confusas de los centros médicos introducidas por el procedimiento de tinción y otras diferencias. Introducimos el Índice de Robustez. Esta métrica de robustez novedosa refleja en qué medida las características biológicas dominan las características confusas. Se evaluaron diez FMs de patología actualmente disponibles públicamente. Descubrimos que todos los modelos fundamentales de patología actuales evaluados representan al centro médico en gran medida. Se observan diferencias significativas en el índice de robustez. Hasta ahora, solo un modelo tiene un índice de robustez mayor que uno, lo que significa que las características biológicas dominan las características confusas, pero solo ligeramente. Se describe un enfoque cuantitativo para medir la influencia de las diferencias entre centros médicos en el rendimiento de predicción basado en FMs. Analizamos el impacto de la falta de robustez en el rendimiento de clasificación de los modelos posteriores, y encontramos que los errores de clasificación del tipo de cáncer no son aleatorios, sino atribuibles específicamente a los factores confusos del mismo centro: imágenes de otras clases del mismo centro médico. Visualizamos los espacios de incrustación de los FMs y encontramos que estos están más fuertemente organizados por centros médicos que por factores biológicos. Como consecuencia, el centro médico de origen se predice con mayor precisión que la fuente de tejido y el tipo de cáncer. El índice de robustez introducido aquí se proporciona con el objetivo de avanzar en el progreso hacia la adopción clínica de FMs de patología robustos y confiables.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.