Les modèles de base de la pathologie actuelle ne sont pas robustes aux différences entre les centres médicaux.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Auteurs: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Résumé

Les Modèles Fondation de Pathologie (FMs) offrent de grandes promesses pour le domaine de la santé. Avant de pouvoir être utilisés en pratique clinique, il est essentiel de s'assurer qu'ils sont robustes aux variations entre les centres médicaux. Nous mesurons si les FMs de pathologie se concentrent sur des caractéristiques biologiques telles que le tissu et le type de cancer, ou sur les signatures bien connues des centres médicaux introduites par la procédure de coloration et d'autres différences. Nous introduisons l'Indice de Robustesse. Cette nouvelle métrique de robustesse reflète dans quelle mesure les caractéristiques biologiques dominent les caractéristiques confondantes. Dix FMs de pathologie actuellement disponibles publiquement sont évalués. Nous constatons que tous les modèles de fondation de pathologie actuels évalués représentent fortement le centre médical. Des différences significatives dans l'indice de robustesse sont observées. Seul un modèle jusqu'à présent a un indice de robustesse supérieur à un, ce qui signifie que les caractéristiques biologiques dominent les caractéristiques confondantes, mais seulement légèrement. Une approche quantitative pour mesurer l'influence des différences entre les centres médicaux sur les performances de prédiction basées sur les FMs est décrite. Nous analysons l'impact de la non-robustesse sur les performances de classification des modèles en aval, et constatons que les erreurs de classification des types de cancer ne sont pas aléatoires, mais spécifiquement attribuables aux confondeurs du même centre : les images d'autres classes du même centre médical. Nous visualisons les espaces d'incorporation des FMs, et constatons qu'ils sont plus fortement organisés par les centres médicaux que par les facteurs biologiques. Par conséquent, le centre médical d'origine est prédit de manière plus précise que la source de tissu et le type de cancer. L'indice de robustesse introduit ici est fourni dans le but de faire progresser les avancées vers l'adoption clinique de FMs de pathologie robustes et fiables.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.