Attualmente i modelli di base della patologia non sono robusti alle differenze dei centri medici.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Autori: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Abstract

I modelli di base della patologia (FMs) offrono grandi promesse per l'assistenza sanitaria. Prima che possano essere utilizzati nella pratica clinica, è essenziale garantire che siano robusti alle variazioni tra i centri medici. Misuriamo se i FMs di patologia si concentrano su caratteristiche biologiche come il tessuto e il tipo di cancro, o sulle ben note firme di confusione dei centri medici introdotte dalla procedura di colorazione e da altre differenze. Introduciamo l'Indice di Robustezza. Questa nuova metrica di robustezza riflette in che misura le caratteristiche biologiche dominano le caratteristiche di confusione. Sono valutati dieci attuali FMs di patologia disponibili pubblicamente. Scopriamo che tutti i modelli di base di patologia attuali valutati rappresentano il centro medico in misura significativa. Sono osservate differenze significative nell'indice di robustezza. Finora solo un modello ha un indice di robustezza maggiore di uno, il che significa che le caratteristiche biologiche dominano le caratteristiche di confusione, ma solo leggermente. Viene descritto un approccio quantitativo per misurare l'influenza delle differenze tra i centri medici sulle prestazioni di previsione basate su FM. Analizziamo l'impatto della non robustezza sulle prestazioni di classificazione dei modelli successivi e scopriamo che gli errori di classificazione del tipo di cancro non sono casuali, ma attribuibili specificamente ai confonditori dello stesso centro: immagini di altre classi dello stesso centro medico. Visualizziamo gli spazi di incorporamento di FM e scopriamo che questi sono organizzati più fortemente dai centri medici che dai fattori biologici. Di conseguenza, il centro medico di origine viene previsto con maggiore precisione rispetto alla fonte del tessuto e al tipo di cancro. L'indice di robustezza introdotto qui è fornito con l'obiettivo di far progredire verso l'adozione clinica di FMs di patologia robusti e affidabili.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.