Aktuelle Pathologie-Grundmodelle sind nicht robust gegenüber Unterschieden in medizinischen Zentren.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Autoren: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Zusammenfassung

Pathologie-Grundlagenmodelle (FMs) versprechen große Fortschritte im Gesundheitswesen. Bevor sie in der klinischen Praxis eingesetzt werden können, ist es entscheidend sicherzustellen, dass sie robust gegenüber Variationen zwischen medizinischen Zentren sind. Wir messen, ob Pathologie-FMs sich auf biologische Merkmale wie Gewebe- und Krebstypen oder auf die bekannten verwirrenden medizinischen Zentrumsunterschriften konzentrieren, die durch Färbeprozesse und andere Unterschiede eingeführt werden. Wir führen den Robustheitsindex ein. Dieses neuartige Robustheitsmaß spiegelt wider, inwieweit biologische Merkmale verwirrende Merkmale dominieren. Zehn aktuelle öffentlich verfügbare Pathologie-FMs werden bewertet. Wir stellen fest, dass alle aktuellen bewerteten Pathologie-Grundlagenmodelle das medizinische Zentrum in hohem Maße repräsentieren. Signifikante Unterschiede im Robustheitsindex werden beobachtet. Bisher hat nur ein Modell einen Robustheitsindex größer als eins, was bedeutet, dass biologische Merkmale verwirrende Merkmale dominieren, jedoch nur geringfügig. Ein quantitativer Ansatz zur Messung des Einflusses von Unterschieden zwischen medizinischen Zentren auf die Leistung von FM-basierten Vorhersagen wird beschrieben. Wir analysieren die Auswirkungen von Unrobustheit auf die Klassifizierungsleistung von nachgelagerten Modellen und stellen fest, dass Fehler bei der Krebstyp-Klassifizierung nicht zufällig sind, sondern speziell auf dieselben Zentrumsverfälscher zurückzuführen sind: Bilder anderer Klassen aus demselben medizinischen Zentrum. Wir visualisieren FM-Einbettungsräume und stellen fest, dass diese stärker nach medizinischen Zentren als nach biologischen Faktoren organisiert sind. Folglich wird das Ursprungszentrum genauer vorhergesagt als die Gewebequelle und der Krebstyp. Der hier eingeführte Robustheitsindex zielt darauf ab, den Fortschritt bei der klinischen Übernahme robuster und zuverlässiger Pathologie-FMs voranzutreiben.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.