Os modelos de base de patologia atuais são não robustos às diferenças nos Centros Médicos.

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

Autores: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

Resumo

Os Modelos Fundamentais de Patologia (FMs) têm grande potencial para a área da saúde. Antes de serem utilizados na prática clínica, é essencial garantir que sejam robustos às variações entre centros médicos. Medimos se os FMs de patologia se concentram em características biológicas como tecido e tipo de câncer, ou nas conhecidas assinaturas confundidoras de centros médicos introduzidas pelo procedimento de coloração e outras diferenças. Apresentamos o Índice de Robustez. Esta métrica de robustez inovadora reflete em que medida as características biológicas dominam as características confundidoras. Dez atuais FMs de patologia disponíveis publicamente são avaliados. Descobrimos que todos os modelos fundamentais de patologia atuais avaliados representam o centro médico em grande medida. São observadas diferenças significativas no índice de robustez. Apenas um modelo até o momento possui um índice de robustez maior que um, significando que as características biológicas dominam as características confundidoras, mas apenas ligeiramente. É descrito um enfoque quantitativo para medir a influência das diferenças entre centros médicos no desempenho de previsão baseado em FM. Analisamos o impacto da não robustez no desempenho de classificação de modelos subsequentes e descobrimos que os erros de classificação do tipo de câncer não são aleatórios, mas especificamente atribuíveis aos confundidores do mesmo centro: imagens de outras classes do mesmo centro médico. Visualizamos os espaços de incorporação dos FMs e descobrimos que estes estão mais fortemente organizados por centros médicos do que por fatores biológicos. Como consequência, o centro médico de origem é previsto com mais precisão do que a fonte de tecido e o tipo de câncer. O índice de robustez introduzido aqui é fornecido com o objetivo de avançar no progresso em direção à adoção clínica de FMs de patologia robustos e confiáveis.

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.