MIRAGE : Modèle de fondation multimodal et référentiel pour l'analyse complète des images OCT de la rétine

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

June 10, 2025

Auteurs: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

cs.AI

Résumé

L'intelligence artificielle (IA) est devenue un outil fondamental pour assister les cliniciens dans l'analyse d'images ophtalmiques, telles que la tomographie par cohérence optique (OCT). Cependant, le développement de modèles d'IA nécessite souvent une annotation extensive, et les modèles existants tendent à sous-performer sur des données indépendantes et non vues auparavant. Les modèles de base (FMs), de grands modèles d'IA entraînés sur de vastes ensembles de données non annotées, ont montré des perspectives prometteuses pour surmonter ces défis. Néanmoins, les FMs disponibles pour l'ophtalmologie manquent d'une validation approfondie, en particulier pour les tâches de segmentation, et se concentrent sur une seule modalité d'imagerie. Dans ce contexte, nous proposons MIRAGE, un nouveau FM multimodal pour l'analyse des images OCT et de l'ophtalmoscopie par balayage laser (SLO). De plus, nous proposons un nouveau benchmark d'évaluation avec des tâches de classification et de segmentation OCT/SLO. La comparaison avec des FMs généraux et spécialisés ainsi que des méthodes de segmentation démontre la supériorité de MIRAGE dans les deux types de tâches, soulignant son adéquation comme base pour le développement de systèmes d'IA robustes pour l'analyse d'images rétiniennes OCT. MIRAGE et le benchmark d'évaluation sont disponibles publiquement : https://github.com/j-morano/MIRAGE.

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.