解釈可能な網膜眼底画像用ファウンデーションモデルに向けて

要旨

基盤モデルは、通常は自己教師あり学習（SSL）を用いて、大量のラベルなしデータから転移可能な表現を抽出するために使用される。しかし、これらのモデルの多くは解釈可能性が限られたアーキテクチャに依存しており、医用画像のような高度な安全性が求められる領域では重大な問題となる。我々はDualIFMを提案する。これはBagNetバックボーンを介して設計上解釈可能な基盤モデルであり、その小さな受容野がモデルの意思決定プロセスに忠実なクラス根拠マップを生成する。さらにDualIFMは、事前学習中に2次元射影層を組み込み、表現空間の直接可視化を可能にし、意味のある臨床クラスタや潜在的な擬似相関を含む学習された構造をデータセットレベルで提供する。我々は、さまざまなソースからの80万枚以上のカラー眼底写真でDualIFMを訓練し、異なる下流タスク向けの汎化可能な表現を学習した。本モデルは、16倍のパラメータを持つRETFoundに匹敵する性能を達成しつつ、分布外データに対して解釈可能な予測を提供する。これらの結果は、大規模SSL事前学習と本来的な解釈可能性を組み合わせることで、網膜画像のための堅牢な表現が得られることを示唆している。コードと事前学習済みモデルはgithub.com/berenslab/interpretable_FMで公開されている。

English

Foundation models are used to extract transferable representations from large amounts of unlabeled data, typically via self-supervised learning (SSL). However, many of these models rely on architectures that offer limited interpretability, a critical issue in high-stakes domains such as medical imaging. We propose DualIFM, a foundation model that is interpretable-by-design via a BagNet backbone whose small receptive fields generate class evidence maps that are faithful to the model's decision-making process. Additionally, DualIFM incorporates a 2D projection layer during pretraining that enables direct visualization of the representation space, providing a dataset-level view of the learned structure including meaningful clinical clusters as well as potential spurious correlations. We trained DualIFM on over 800,000 color fundus photographs from various sources to learn generalizable representations for different downstream tasks. Our model achieves performance comparable to RETFound, which has 16times more parameters, while providing interpretable predictions on out-of-distribution data. These results suggest that large-scale SSL pretraining paired with inherent interpretability can lead to robust representations for retinal imaging. Code and pretrained models are available at github.com/berenslab/interpretable_FM.