Huidige Pathologie Foundation Modellen zijn niet robuust tegenover verschillen tussen Medische Centra.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Auteurs: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Samenvatting

Pathologie Foundation Modellen (FMs) beloven veel voor de gezondheidszorg. Voordat ze in de klinische praktijk kunnen worden gebruikt, is het essentieel om ervoor te zorgen dat ze bestand zijn tegen variaties tussen medische centra. We meten of pathologie FMs zich richten op biologische kenmerken zoals weefsel- en kankertype, of op de bekende verstorende handtekeningen van medische centra die worden geïntroduceerd door kleuringsprocedures en andere verschillen. We introduceren de Robuustheidsindex. Deze nieuwe robuustheidsmetriek weerspiegelt in welke mate biologische kenmerken de verstorende kenmerken domineren. Tien huidige openbaar beschikbare pathologie FMs worden geëvalueerd. We constateren dat alle momenteel geëvalueerde pathologie foundation modellen het medisch centrum sterk vertegenwoordigen. Er worden significante verschillen in de robuustheidsindex waargenomen. Tot nu toe heeft slechts één model een robuustheidsindex groter dan één, wat betekent dat biologische kenmerken de verstorende kenmerken domineren, maar slechts in geringe mate. Er wordt een kwantitatieve benadering beschreven om de invloed van verschillen tussen medische centra op de voorspellingsprestaties van FM's te meten. We analyseren de impact van onrobustheid op de classificatieprestaties van downstream modellen en constateren dat classificatiefouten in kankertype niet willekeurig zijn, maar specifiek toegeschreven kunnen worden aan verstorende factoren binnen hetzelfde centrum: afbeeldingen van andere klassen van hetzelfde medisch centrum. We visualiseren FM insluitruimten en constateren dat deze sterker georganiseerd zijn op basis van medische centra dan op basis van biologische factoren. Als gevolg hiervan wordt het oorspronkelijke medisch centrum nauwkeuriger voorspeld dan de weefselbron en het kankertype. De hier geïntroduceerde robuustheidsindex heeft als doel om de vooruitgang te bevorderen naar de klinische adoptie van robuuste en betrouwbare pathologie FMs.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.