MIRAGE: Мультимодальная базовая модель и эталонный набор данных для комплексного анализа изображений сетчатки методом оптической когерентной томографии (ОКТ)
MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis
June 10, 2025
Авторы: José Morano, Botond Fazekas, Emese Sükei, Ronald Fecso, Taha Emre, Markus Gumpinger, Georg Faustmann, Marzieh Oghbaie, Ursula Schmidt-Erfurth, Hrvoje Bogunović
cs.AI
Аннотация
Искусственный интеллект (ИИ) стал фундаментальным инструментом для помощи клиницистам в анализе офтальмологических изображений, таких как оптическая когерентная томография (ОКТ). Однако разработка моделей ИИ часто требует обширной аннотации, а существующие модели, как правило, демонстрируют низкую производительность на независимых, ранее не встречавшихся данных. Фундаментальные модели (ФМ) — крупные модели ИИ, обученные на обширных немаркированных наборах данных, — показали перспективность в преодолении этих трудностей. Тем не менее, доступные ФМ для офтальмологии недостаточно валидированы, особенно для задач сегментации, и сосредоточены на одном типе визуализации. В этом контексте мы предлагаем MIRAGE — новую мультимодальную ФМ для анализа изображений ОКТ и сканирующей лазерной офтальмоскопии (SLO). Кроме того, мы предлагаем новый эталонный тест для задач классификации и сегментации ОКТ/SLO. Сравнение с общими и специализированными ФМ, а также методами сегментации демонстрирует превосходство MIRAGE в обоих типах задач, подчеркивая её пригодность в качестве основы для разработки надежных систем ИИ для анализа ретинальных изображений ОКТ. MIRAGE и эталонный тест доступны публично: https://github.com/j-morano/MIRAGE.
English
Artificial intelligence (AI) has become a fundamental tool for assisting
clinicians in analyzing ophthalmic images, such as optical coherence tomography
(OCT). However, developing AI models often requires extensive annotation, and
existing models tend to underperform on independent, unseen data. Foundation
models (FMs), large AI models trained on vast unlabeled datasets, have shown
promise in overcoming these challenges. Nonetheless, available FMs for
ophthalmology lack extensive validation, especially for segmentation tasks, and
focus on a single imaging modality. In this context, we propose MIRAGE, a novel
multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO)
images. Additionally, we propose a new evaluation benchmark with OCT/SLO
classification and segmentation tasks. The comparison with general and
specialized FMs and segmentation methods shows the superiority of MIRAGE in
both types of tasks, highlighting its suitability as a basis for the
development of robust AI systems for retinal OCT image analysis. Both MIRAGE
and the evaluation benchmark are publicly available:
https://github.com/j-morano/MIRAGE.