MIRAGE：網膜OCT画像の包括的解析のためのマルチモーダル基盤モデルとベンチマーク

要旨

人工知能（AI）は、光干渉断層計（OCT）などの眼科画像を分析する際に臨床医を支援する基本的なツールとなっています。しかし、AIモデルの開発には多くの場合、広範なアノテーションが必要であり、既存のモデルは独立した未見のデータに対して性能が低い傾向があります。基盤モデル（FMs）は、膨大なラベルなしデータセットでトレーニングされた大規模なAIモデルであり、これらの課題を克服する可能性を示しています。それにもかかわらず、眼科用の利用可能なFMsは、特にセグメンテーションタスクにおいて広範な検証が不足しており、単一の画像モダリティに焦点を当てています。この文脈において、我々はOCTと走査レーザー眼底検査（SLO）画像を分析するための新しいマルチモーダルFMであるMIRAGEを提案します。さらに、OCT/SLOの分類とセグメンテーションタスクを含む新しい評価ベンチマークを提案します。一般的および専門的なFMsおよびセグメンテーション手法との比較により、MIRAGEが両方のタスクにおいて優れていることが示され、網膜OCT画像分析のための堅牢なAIシステム開発の基盤としての適性が強調されます。MIRAGEと評価ベンチマークは公開されています：https://github.com/j-morano/MIRAGE。

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.

MIRAGE：網膜OCT画像の包括的解析のためのマルチモーダル基盤モデルとベンチマーク

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

要旨

Support