MIRAGE: Multimodaal fundamentmodel en benchmark voor uitgebreide analyse van retinale OCT-beelden

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

June 10, 2025

Auteurs: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

cs.AI

Samenvatting

Kunstmatige intelligentie (AI) is een fundamenteel hulpmiddel geworden om clinici te ondersteunen bij het analyseren van oftalmische beelden, zoals optische coherentietomografie (OCT). Het ontwikkelen van AI-modellen vereist echter vaak uitgebreide annotaties, en bestaande modellen presteren doorgaans minder goed op onafhankelijke, onbekende gegevens. Foundation models (FM's), grote AI-modellen die getraind zijn op enorme ongeannoteerde datasets, hebben potentie getoond om deze uitdagingen te overwinnen. Toch ontbreekt het aan uitgebreide validatie van beschikbare FM's voor oftalmologie, met name voor segmentatietaken, en richten ze zich op een enkele beeldvormingsmodaliteit. In deze context stellen we MIRAGE voor, een nieuwe multimodale FM voor de analyse van OCT- en scanning laser ophthalmoscopy (SLO)-beelden. Daarnaast introduceren we een nieuwe evaluatiebenchmark met OCT/SLO-classificatie- en segmentatietaken. De vergelijking met algemene en gespecialiseerde FM's en segmentatiemethoden toont de superioriteit van MIRAGE in beide soorten taken, wat zijn geschiktheid als basis voor de ontwikkeling van robuuste AI-systemen voor retinale OCT-beeldanalyse onderstreept. Zowel MIRAGE als de evaluatiebenchmark zijn publiekelijk beschikbaar: https://github.com/j-morano/MIRAGE.

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.