Naar schaalbare taal-beeldvoorpretraining voor 3D-medische beeldvorming
Towards Scalable Language-Image Pre-training for 3D Medical Imaging
May 28, 2025
Auteurs: Chenhui Zhao, Yiwei Lyu, Asadur Chowdury, Edward Harake, Akhil Kondepudi, Akshay Rao, Xinhai Hou, Honglak Lee, Todd Hollon
cs.AI
Samenvatting
Taal-beeldvoorafgaande training heeft sterke prestaties getoond in 2D-medische beeldvorming, maar het succes ervan in 3D-modaliteiten zoals CT en MRI blijft beperkt vanwege de hoge rekenkundige eisen van volumetrische data, wat een aanzienlijke barrière vormt voor training op grootschalige, ongecurateerde klinische studies. In deze studie introduceren we Hiërarchische aandacht voor Taal-Beeldvoorafgaande Training (HLIP), een schaalbare voorafgaande trainingsframework voor 3D-medische beeldvorming. HLIP maakt gebruik van een lichtgewicht hiërarchisch aandachtmechanisme, geïnspireerd door de natuurlijke hiërarchie van radiologische data: slice, scan en studie. Dit mechanisme vertoont sterke generaliseerbaarheid, bijvoorbeeld +4,3% macro AUC op de Rad-ChestCT-benchmark wanneer vooraf getraind op CT-RATE. Bovendien stelt de rekenkundige efficiëntie van HLIP directe training op ongecurateerde datasets mogelijk. Getraind op 220K patiënten met 3,13 miljoen scans voor hersen-MRI en 240K patiënten met 1,44 miljoen scans voor hoofd-CT, bereikt HLIP state-of-the-art prestaties, bijvoorbeeld +32,4% gebalanceerde ACC op de voorgestelde publiekelijk beschikbare hersen-MRI-benchmark Pub-Brain-5; +1,4% en +6,9% macro AUC op hoofd-CT-benchmarks RSNA en CQ500, respectievelijk. Deze resultaten tonen aan dat, met HLIP, direct vooraf trainen op ongecurateerde klinische datasets een schaalbare en effectieve richting is voor taal-beeldvoorafgaande training in 3D-medische beeldvorming. De code is beschikbaar op https://github.com/Zch0414/hlip.
English
Language-image pre-training has demonstrated strong performance in 2D medical
imaging, but its success in 3D modalities such as CT and MRI remains limited
due to the high computational demands of volumetric data, which pose a
significant barrier to training on large-scale, uncurated clinical studies. In
this study, we introduce Hierarchical attention for Language-Image Pre-training
(HLIP), a scalable pre-training framework for 3D medical imaging. HLIP adopts a
lightweight hierarchical attention mechanism inspired by the natural hierarchy
of radiology data: slice, scan, and study. This mechanism exhibits strong
generalizability, e.g., +4.3% macro AUC on the Rad-ChestCT benchmark when
pre-trained on CT-RATE. Moreover, the computational efficiency of HLIP enables
direct training on uncurated datasets. Trained on 220K patients with 3.13
million scans for brain MRI and 240K patients with 1.44 million scans for head
CT, HLIP achieves state-of-the-art performance, e.g., +32.4% balanced ACC on
the proposed publicly available brain MRI benchmark Pub-Brain-5; +1.4% and
+6.9% macro AUC on head CT benchmarks RSNA and CQ500, respectively. These
results demonstrate that, with HLIP, directly pre-training on uncurated
clinical datasets is a scalable and effective direction for language-image
pre-training in 3D medical imaging. The code is available at
https://github.com/Zch0414/hlip