Project Imaging-X: Een Overzicht van Meer Dan 1000 Open-Toegankelijke Medische Beeldvormingsdatasets voor de Ontwikkeling van Foundation Modellen

Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development

March 29, 2026

Auteurs: Zhongying Deng, Cheng Tang, Ziyan Huang, Jiashi Lin, Ying Chen, Junzhi Ning, Chenglong Ma, Jiyao Liu, Wei Li, Yinghao Zhu, Shujian Gao, Yanyan Huang, Sibo Ju, Yanzhou Su, Pengcheng Chen, Wenhao Tang, Tianbin Li, Haoyu Wang, Yuanfeng Ji, Hui Sun, Shaobo Min, Liang Peng, Feilong Tang, Haochen Xue, Rulin Zhou, Chaoyang Zhang, Wenjie Li, Shaohao Rui, Weijie Ma, Xingyue Zhao, Yibin Wang, Kun Yuan, Zhaohui Lu, Shujun Wang, Jinjie Wei, Lihao Liu, Dingkang Yang, Lin Wang, Yulong Li, Haolin Yang, Yiqing Shen, Lequan Yu, Xiaowei Hu, Yun Gu, Yicheng Wu, Benyou Wang, Minghui Zhang, Angelica I. Aviles-Rivero, Qi Gao, Hongming Shan, Xiaoyu Ren, Fang Yan, Hongyu Zhou, Haodong Duan, Maosong Cao, Shanshan Wang, Bin Fu, Xiaomeng Li, Zhi Hou, Chunfeng Song, Lei Bai, Yuan Cheng, Yuandong Pu, Xiang Li, Wenhai Wang, Hao Chen, Jiaxin Zhuang, Songyang Zhang, Huiguang He, Mengzhang Li, Bohan Zhuang, Zhian Bai, Rongshan Yu, Liansheng Wang, Yukun Zhou, Xiaosong Wang, Xin Guo, Guanbin Li, Xiangru Lin, Dakai Jin, Mianxin Liu, Wenlong Zhang, Qi Qin, Conghui He, Yuqiang Li, Ye Luo, Nanqing Dong, Jie Xu, Wenqi Shao, Bo Zhang, Qiujuan Yan, Yihao Liu, Jun Ma, Zhi Lu, Yuewen Cao, Zongwei Zhou, Jianming Liang, Shixiang Tang, Qi Duan, Dongzhan Zhou, Chen Jiang, Yuyin Zhou, Yanwu Xu, Jiancheng Yang, Shaoting Zhang, Xiaohong Liu, Siqi Luo, Yi Xin, Chaoyu Liu, Haochen Wen, Xin Chen, Alejandro Lozano, Min Woo Sun, Yuhui Zhang, Yue Yao, Xiaoxiao Sun, Serena Yeung-Levy, Xia Li, Jing Ke, Chunhui Zhang, Zongyuan Ge, Ming Hu, Jin Ye, Zhifeng Li, Yirong Chen, Yu Qiao, Junjun He

cs.AI

Samenvatting

Fundamentele modellen hebben opmerkelijke successen geboekt in diverse domeinen en taken, voornamelijk dankzij de opkomst van grootschalige, diverse en hoogwaardige datasets. In het domein van medische beeldvorming is het samenstellen en cureren van dergelijke medische datasets echter zeer uitdagend vanwege de afhankelijkheid van klinische expertise en strikte ethische en privacybeperkingen. Dit resulteert in een schaarste aan grootschalige, uniforme medische datasets en belemmert de ontwikkeling van krachtige medische fundamentele modellen. In dit werk presenteren we de grootste survey tot nu toe van medische beelddatasets, waarbij meer dan 1.000 open-access datasets worden behandeld met een systematische catalogisering van hun modaliteiten, taken, anatomische gebieden, annotaties, beperkingen en integratiepotentieel. Onze analyse toont een landschap dat bescheiden is in schaal, gefragmenteerd over nauw omschreven taken, en ongelijk verdeeld over organen en modaliteiten, wat op zijn beurt de bruikbaarheid van bestaande medische beelddatasets voor het ontwikkelen van veelzijdige en robuuste medische fundamentele modellen beperkt. Om fragmentatie om te zetten in schaal, stellen we een metadata-gestuurd fusieparadigma (MDFP) voor dat openbare datasets met gedeelde modaliteiten of taken integreert, waardoor meerdere kleine databunkers worden getransformeerd in grotere, coherentere bronnen. Op basis van MDFP lanceren we een interactief discoverieportaal dat end-to-end, geautomatiseerde integratie van medische beelddatasets mogelijk maakt, en compileren we alle onderzochte datasets in een uniforme, gestructureerde tabel die hun belangrijkste kenmerken samenvat en referentielinks biedt. Dit biedt de gemeenschap een toegankelijke en uitgebreide repository. Door de huidige situatie in kaart te brengen en een principieel pad naar datasetconsolidatie te bieden, biedt onze survey een praktische routekaart voor het opschalen van medische beeldvormingscorpora, ter ondersteuning van snellere datadiscovery, meer principiële datasetcreatie en capabelere medische fundamentele modellen.

English

Foundation models have demonstrated remarkable success across diverse domains and tasks, primarily due to the thrive of large-scale, diverse, and high-quality datasets. However, in the field of medical imaging, the curation and assembling of such medical datasets are highly challenging due to the reliance on clinical expertise and strict ethical and privacy constraints, resulting in a scarcity of large-scale unified medical datasets and hindering the development of powerful medical foundation models. In this work, we present the largest survey to date of medical image datasets, covering over 1,000 open-access datasets with a systematic catalog of their modalities, tasks, anatomies, annotations, limitations, and potential for integration. Our analysis exposes a landscape that is modest in scale, fragmented across narrowly scoped tasks, and unevenly distributed across organs and modalities, which in turn limits the utility of existing medical image datasets for developing versatile and robust medical foundation models. To turn fragmentation into scale, we propose a metadata-driven fusion paradigm (MDFP) that integrates public datasets with shared modalities or tasks, thereby transforming multiple small data silos into larger, more coherent resources. Building on MDFP, we release an interactive discovery portal that enables end-to-end, automated medical image dataset integration, and compile all surveyed datasets into a unified, structured table that clearly summarizes their key characteristics and provides reference links, offering the community an accessible and comprehensive repository. By charting the current terrain and offering a principled path to dataset consolidation, our survey provides a practical roadmap for scaling medical imaging corpora, supporting faster data discovery, more principled dataset creation, and more capable medical foundation models.