MIRAGE: Multimodales Basismodell und Benchmark für die umfassende Analyse von retinalen OCT-Bildern

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

June 10, 2025

Autoren: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

cs.AI

Zusammenfassung

Künstliche Intelligenz (KI) hat sich zu einem grundlegenden Werkzeug entwickelt, um Kliniker bei der Analyse ophthalmologischer Bilder, wie der optischen Kohärenztomographie (OCT), zu unterstützen. Die Entwicklung von KI-Modellen erfordert jedoch oft umfangreiche Annotationen, und bestehende Modelle tendieren dazu, bei unabhängigen, unbekannten Daten schlechter abzuschneiden. Foundation-Modelle (FMs), große KI-Modelle, die auf umfangreichen unmarkierten Datensätzen trainiert wurden, haben Potenzial gezeigt, diese Herausforderungen zu bewältigen. Dennoch fehlt es an verfügbaren FMs für die Ophthalmologie an umfassender Validierung, insbesondere für Segmentierungsaufgaben, und sie konzentrieren sich auf eine einzige Bildgebungsmodalität. In diesem Zusammenhang schlagen wir MIRAGE vor, ein neuartiges multimodales FM für die Analyse von OCT- und Scanning-Laser-Ophthalmoskopie (SLO)-Bildern. Zusätzlich schlagen wir einen neuen Evaluierungsbenchmark mit OCT/SLO-Klassifikations- und Segmentierungsaufgaben vor. Der Vergleich mit allgemeinen und spezialisierten FMs sowie Segmentierungsmethoden zeigt die Überlegenheit von MIRAGE in beiden Aufgabentypen und unterstreicht seine Eignung als Grundlage für die Entwicklung robuster KI-Systeme zur Analyse retinaler OCT-Bilder. Sowohl MIRAGE als auch der Evaluierungsbenchmark sind öffentlich verfügbar: https://github.com/j-morano/MIRAGE.

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.