MIRAGE: Modello fondazionale multimodale e benchmark per l'analisi completa delle immagini OCT della retina

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

June 10, 2025

Autori: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović

cs.AI

Abstract

L'intelligenza artificiale (IA) è diventata uno strumento fondamentale per assistere i clinici nell'analisi di immagini oftalmiche, come la tomografia a coerenza ottica (OCT). Tuttavia, lo sviluppo di modelli di IA richiede spesso annotazioni estese, e i modelli esistenti tendono a ottenere prestazioni inferiori su dati indipendenti e non visti in precedenza. I modelli di base (Foundation Models, FM), grandi modelli di IA addestrati su vasti dataset non etichettati, hanno mostrato potenziale nel superare queste sfide. Tuttavia, i FM disponibili per l'oftalmologia mancano di una validazione estesa, specialmente per i compiti di segmentazione, e si concentrano su una singola modalità di imaging. In questo contesto, proponiamo MIRAGE, un innovativo FM multimodale per l'analisi di immagini OCT e di oftalmoscopia a scansione laser (SLO). Inoltre, proponiamo un nuovo benchmark di valutazione con compiti di classificazione e segmentazione OCT/SLO. Il confronto con FM generali e specializzati e con metodi di segmentazione dimostra la superiorità di MIRAGE in entrambi i tipi di compiti, evidenziandone l'idoneità come base per lo sviluppo di sistemi di IA robusti per l'analisi di immagini OCT retiniche. Sia MIRAGE che il benchmark di valutazione sono disponibili pubblicamente: https://github.com/j-morano/MIRAGE.

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.