現行の病理学基盤モデルは、医療センター間の違いに対して頑健性に欠けています。

Current Pathology Foundation Models are unrobust to Medical Center Differences

January 29, 2025

著者: Edwin D. de Jong, Eric Marcus, Jonas Teuwen

cs.AI

要旨

病理学の基礎モデル（FMs）は医療分野において大きな可能性を秘めています。臨床実践で利用する前に、医療センター間の変動に対して堅牢であることを確認することが不可欠です。病理学の基礎モデルが組織やがんの種類などの生物学的特徴に焦点を当てているか、または染色手順などによって導入された既知の医療センターの特徴に焦点を当てているかを測定します。我々は「堅牢性指標」を導入します。この新しい堅牢性指標は、生物学的特徴が混同要因を支配する程度を反映しています。現在公開されている10の病理学の基礎モデルを評価します。現在の全ての病理学の基礎モデルは、医療センターを強く表現していることがわかります。堅牢性指標における著しい差異が観察されます。現時点では、生物学的特徴が混同要因を支配しているモデルは1つだけであり、わずかではありますが堅牢性指標が1よりも大きいことが示されています。FMベースの予測性能に医療センター間の違いが及ぼす影響を測定する定量的アプローチが記述されています。我々は、下流モデルの分類性能に対する堅牢性の影響を分析し、がんの分類エラーがランダムではなく、特定の同一医療センターの混同要因に起因することがわかります。我々はFMの埋め込み空間を可視化し、これらが生物学的要因よりも医療センターによってより強く構成されていることがわかります。その結果、出所の医療センターが組織の源やがんの種類よりも正確に予測されます。ここで導入された堅牢性指標は、堅牢で信頼性の高い病理学の基礎モデルの臨床採用に向けた進展を目指して提供されています。

English

Pathology Foundation Models (FMs) hold great promise for healthcare. Before they can be used in clinical practice, it is essential to ensure they are robust to variations between medical centers. We measure whether pathology FMs focus on biological features like tissue and cancer type, or on the well known confounding medical center signatures introduced by staining procedure and other differences. We introduce the Robustness Index. This novel robustness metric reflects to what degree biological features dominate confounding features. Ten current publicly available pathology FMs are evaluated. We find that all current pathology foundation models evaluated represent the medical center to a strong degree. Significant differences in the robustness index are observed. Only one model so far has a robustness index greater than one, meaning biological features dominate confounding features, but only slightly. A quantitative approach to measure the influence of medical center differences on FM-based prediction performance is described. We analyze the impact of unrobustness on classification performance of downstream models, and find that cancer-type classification errors are not random, but specifically attributable to same-center confounders: images of other classes from the same medical center. We visualize FM embedding spaces, and find these are more strongly organized by medical centers than by biological factors. As a consequence, the medical center of origin is predicted more accurately than the tissue source and cancer type. The robustness index introduced here is provided with the aim of advancing progress towards clinical adoption of robust and reliable pathology FMs.