MIRAGE: 포괄적 망막 OCT 이미지 분석을 위한 멀티모달 기반 모델 및 벤치마크

초록

인공지능(AI)은 광간섭단층촬영(OCT)과 같은 안과 영상 분석을 지원하는 데 있어 필수적인 도구로 자리 잡았습니다. 그러나 AI 모델 개발에는 대규모 주석 작업이 필요하며, 기존 모델들은 독립적이고 보지 못한 데이터에서 성능이 떨어지는 경향이 있습니다. 방대한 라벨 없는 데이터셋으로 훈련된 대형 AI 모델인 파운데이션 모델(FMs)은 이러한 문제를 극복할 가능성을 보여주고 있습니다. 그럼에도 불구하고, 안과 분야에서 사용 가능한 FMs는 특히 세분화 작업에 대한 광범위한 검증이 부족하며, 단일 영상 모달리티에 초점을 맞추고 있습니다. 이러한 맥락에서, 우리는 OCT와 스캐닝 레이저 안저촬영(SLO) 영상 분석을 위한 새로운 다중모달 FM인 MIRAGE를 제안합니다. 또한, OCT/SLO 분류 및 세분화 작업을 포함한 새로운 평가 벤치마크를 제안합니다. 일반적 및 특화된 FMs와 세분화 방법들과의 비교를 통해 MIRAGE가 두 가지 유형의 작업에서 모두 우수성을 보여주며, 망막 OCT 영상 분석을 위한 강력한 AI 시스템 개발의 기초로서 적합함을 입증합니다. MIRAGE와 평가 벤치마크는 모두 공개적으로 이용 가능합니다: https://github.com/j-morano/MIRAGE.

English

Artificial intelligence (AI) has become a fundamental tool for assisting clinicians in analyzing ophthalmic images, such as optical coherence tomography (OCT). However, developing AI models often requires extensive annotation, and existing models tend to underperform on independent, unseen data. Foundation models (FMs), large AI models trained on vast unlabeled datasets, have shown promise in overcoming these challenges. Nonetheless, available FMs for ophthalmology lack extensive validation, especially for segmentation tasks, and focus on a single imaging modality. In this context, we propose MIRAGE, a novel multimodal FM for the analysis of OCT and scanning laser ophthalmoscopy (SLO) images. Additionally, we propose a new evaluation benchmark with OCT/SLO classification and segmentation tasks. The comparison with general and specialized FMs and segmentation methods shows the superiority of MIRAGE in both types of tasks, highlighting its suitability as a basis for the development of robust AI systems for retinal OCT image analysis. Both MIRAGE and the evaluation benchmark are publicly available: https://github.com/j-morano/MIRAGE.

MIRAGE: 포괄적 망막 OCT 이미지 분석을 위한 멀티모달 기반 모델 및 벤치마크

MIRAGE: Multimodal foundation model and benchmark for comprehensive retinal OCT image analysis

초록

Support