Projekt Imaging-X: Eine Übersicht über mehr als 1000 frei zugängliche medizinische Bildgebungsdatensätze für die Entwicklung von Foundation-Modellen

Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development

March 29, 2026

Autoren: Zhongying Deng, Cheng Tang, Ziyan Huang, Jiashi Lin, Ying Chen, Junzhi Ning, Chenglong Ma, Jiyao Liu, Wei Li, Yinghao Zhu, Shujian Gao, Yanyan Huang, Sibo Ju, Yanzhou Su, Pengcheng Chen, Wenhao Tang, Tianbin Li, Haoyu Wang, Yuanfeng Ji, Hui Sun, Shaobo Min, Liang Peng, Feilong Tang, Haochen Xue, Rulin Zhou, Chaoyang Zhang, Wenjie Li, Shaohao Rui, Weijie Ma, Xingyue Zhao, Yibin Wang, Kun Yuan, Zhaohui Lu, Shujun Wang, Jinjie Wei, Lihao Liu, Dingkang Yang, Lin Wang, Yulong Li, Haolin Yang, Yiqing Shen, Lequan Yu, Xiaowei Hu, Yun Gu, Yicheng Wu, Benyou Wang, Minghui Zhang, Angelica I. Aviles-Rivero, Qi Gao, Hongming Shan, Xiaoyu Ren, Fang Yan, Hongyu Zhou, Haodong Duan, Maosong Cao, Shanshan Wang, Bin Fu, Xiaomeng Li, Zhi Hou, Chunfeng Song, Lei Bai, Yuan Cheng, Yuandong Pu, Xiang Li, Wenhai Wang, Hao Chen, Jiaxin Zhuang, Songyang Zhang, Huiguang He, Mengzhang Li, Bohan Zhuang, Zhian Bai, Rongshan Yu, Liansheng Wang, Yukun Zhou, Xiaosong Wang, Xin Guo, Guanbin Li, Xiangru Lin, Dakai Jin, Mianxin Liu, Wenlong Zhang, Qi Qin, Conghui He, Yuqiang Li, Ye Luo, Nanqing Dong, Jie Xu, Wenqi Shao, Bo Zhang, Qiujuan Yan, Yihao Liu, Jun Ma, Zhi Lu, Yuewen Cao, Zongwei Zhou, Jianming Liang, Shixiang Tang, Qi Duan, Dongzhan Zhou, Chen Jiang, Yuyin Zhou, Yanwu Xu, Jiancheng Yang, Shaoting Zhang, Xiaohong Liu, Siqi Luo, Yi Xin, Chaoyu Liu, Haochen Wen, Xin Chen, Alejandro Lozano, Min Woo Sun, Yuhui Zhang, Yue Yao, Xiaoxiao Sun, Serena Yeung-Levy, Xia Li, Jing Ke, Chunhui Zhang, Zongyuan Ge, Ming Hu, Jin Ye, Zhifeng Li, Yirong Chen, Yu Qiao, Junjun He

cs.AI

Zusammenfassung

Foundation Models haben in verschiedenen Domänen und Aufgaben bemerkenswerte Erfolge gezeigt, was hauptsächlich auf die Verfügbarkeit groß angelegter, diverser und hochwertiger Datensätze zurückzuführen ist. Im Bereich der medizinischen Bildgebung ist die Zusammenstellung solcher medizinischer Datensätze jedoch äußerst anspruchsvoll, da sie auf klinischer Expertise beruht und strengen ethischen sowie datenschutzrechtlichen Beschränkungen unterliegt. Dies führt zu einer Knappheit an groß angelegten, einheitlichen medizinischen Datensätzen und behindert die Entwicklung leistungsstarker medizinischer Foundation Models. In dieser Arbeit präsentieren wir die bislang umfassendste Übersicht über medizinische Bildgebungsdatensätze, die mehr als 1.000 frei zugängliche Datensätze abdeckt und systematisch deren Modalitäten, Aufgaben, anatomische Regionen, Annotationen, Einschränkungen sowie ihr Integrationspotenzial katalogisiert. Unsere Analyse zeigt eine Landschaft, die in ihrem Umfang begrenzt, über eng gefasste Aufgaben fragmentiert und ungleichmäßig über Organe und Modalitäten verteilt ist, was wiederum den Nutzen bestehender medizinischer Bildgebungsdatensätze für die Entwicklung vielseitiger und robuster medizinischer Foundation Models einschränkt. Um Fragmentierung in Skalierbarkeit zu überführen, schlagen wir ein metadatengesteuertes Fusionsparadigma (Metadata-Driven Fusion Paradigm, MDFP) vor, das öffentliche Datensätze mit gemeinsamen Modalitäten oder Aufgaben integriert und so mehrere kleine Datensilos in größere, kohärentere Ressourcen transformiert. Aufbauend auf MDFP veröffentlichen wir ein interaktives Discovery-Portal, das eine end-to-end automatisierte Integration medizinischer Bildgebungsdatensätze ermöglicht, und fassen alle untersuchten Datensätze in einer einheitlichen, strukturierten Tabelle zusammen, die deren Schlüsselmerkmale klar darlegt und Referenzlinks bereitstellt. Dies bietet der Community einen zugänglichen und umfassenden Repositorium. Indem wir die aktuelle Landschaft kartieren und einen prinzipienbasierten Weg zur Datensatzkonsolidierung aufzeigen, liefert unsere Übersicht eine praktische Roadmap für die Skalierung medizinischer Bildgebungskorpora, die schnellere Datendiscovery, prinzipienbasiertere Datensatzerstellung und leistungsfähigere medizinische Foundation Models unterstützt.

English

Foundation models have demonstrated remarkable success across diverse domains and tasks, primarily due to the thrive of large-scale, diverse, and high-quality datasets. However, in the field of medical imaging, the curation and assembling of such medical datasets are highly challenging due to the reliance on clinical expertise and strict ethical and privacy constraints, resulting in a scarcity of large-scale unified medical datasets and hindering the development of powerful medical foundation models. In this work, we present the largest survey to date of medical image datasets, covering over 1,000 open-access datasets with a systematic catalog of their modalities, tasks, anatomies, annotations, limitations, and potential for integration. Our analysis exposes a landscape that is modest in scale, fragmented across narrowly scoped tasks, and unevenly distributed across organs and modalities, which in turn limits the utility of existing medical image datasets for developing versatile and robust medical foundation models. To turn fragmentation into scale, we propose a metadata-driven fusion paradigm (MDFP) that integrates public datasets with shared modalities or tasks, thereby transforming multiple small data silos into larger, more coherent resources. Building on MDFP, we release an interactive discovery portal that enables end-to-end, automated medical image dataset integration, and compile all surveyed datasets into a unified, structured table that clearly summarizes their key characteristics and provides reference links, offering the community an accessible and comprehensive repository. By charting the current terrain and offering a principled path to dataset consolidation, our survey provides a practical roadmap for scaling medical imaging corpora, supporting faster data discovery, more principled dataset creation, and more capable medical foundation models.