Существующие модели основы патологии неустойчивы к различиям медицинских центров.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Авторы: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Аннотация

Модели основы патологии (FMs) обладают большим потенциалом для здравоохранения. Прежде чем их можно будет использовать в клинической практике, необходимо обеспечить их устойчивость к различиям между медицинскими центрами. Мы измеряем, насколько модели патологии сосредотачиваются на биологических особенностях, таких как ткани и тип рака, или на хорошо известных смещающих подписях медицинских центров, внесенных процедурой окрашивания и другими различиями. Мы представляем Индекс Устойчивости. Этот новый метрический показатель устойчивости отражает степень, в которой биологические особенности доминируют над смещающими особенностями. Оцениваются десять текущих публично доступных моделей основы патологии. Мы обнаруживаем, что все текущие оцененные модели основы патологии сильно представляют медицинский центр. Наблюдаются значительные различия в индексе устойчивости. Пока только у одной модели индекс устойчивости превышает единицу, что означает, что биологические особенности доминируют над смещающими особенностями, но лишь незначительно. Описывается количественный подход для измерения влияния различий медицинских центров на производительность прогнозирования на основе FM. Мы анализируем влияние неустойчивости на производительность классификации последующих моделей и обнаруживаем, что ошибки классификации типов рака не случайны, а специфически обусловлены смещающими факторами внутри одного центра: изображениями других классов из того же медицинского центра. Мы визуализируем пространства вложения FM и обнаруживаем, что они более тесно организованы по медицинским центрам, чем по биологическим факторам. В результате медицинский центр происхождения предсказывается более точно, чем источник ткани и тип рака. Индекс устойчивости, представленный здесь, предназначен для продвижения прогресса в направлении клинического принятия устойчивых и надежных моделей основы патологии.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.