Verso un Pre-addestramento Scalabile Linguaggio-Immagine per l'Imaging Medico 3D
Towards Scalable Language-Image Pre-training for 3D Medical Imaging
May 28, 2025
Autori: Chenhui Zhao, Yiwei Lyu, Asadur Chowdury, Edward Harake, Akhil Kondepudi, Akshay Rao, Xinhai Hou, Honglak Lee, Todd Hollon
cs.AI
Abstract
Il pre-addestramento linguaggio-immagine ha dimostrato prestazioni solide nell'imaging medico 2D, ma il suo successo nelle modalità 3D come TC e RM rimane limitato a causa delle elevate esigenze computazionali dei dati volumetrici, che rappresentano una barriera significativa all'addestramento su studi clinici su larga scala e non curati. In questo studio, introduciamo l'attenzione gerarchica per il pre-addestramento linguaggio-immagine (HLIP), un framework scalabile per il pre-addestramento nell'imaging medico 3D. HLIP adotta un meccanismo di attenzione gerarchica leggero ispirato dalla gerarchia naturale dei dati radiologici: fetta, scansione e studio. Questo meccanismo mostra una forte generalizzabilità, ad esempio, +4,3% di macro AUC sul benchmark Rad-ChestCT quando pre-addestrato su CT-RATE. Inoltre, l'efficienza computazionale di HLIP consente l'addestramento diretto su dataset non curati. Addestrato su 220K pazienti con 3,13 milioni di scansioni per RM cerebrale e 240K pazienti con 1,44 milioni di scansioni per TC cranica, HLIP raggiunge prestazioni all'avanguardia, ad esempio, +32,4% di accuratezza bilanciata sul benchmark pubblicamente disponibile Pub-Brain-5 per RM cerebrale; +1,4% e +6,9% di macro AUC sui benchmark TC cranica RSNA e CQ500, rispettivamente. Questi risultati dimostrano che, con HLIP, il pre-addestramento diretto su dataset clinici non curati è una direzione scalabile ed efficace per il pre-addestramento linguaggio-immagine nell'imaging medico 3D. Il codice è disponibile all'indirizzo https://github.com/Zch0414/hlip.
English
Language-image pre-training has demonstrated strong performance in 2D medical
imaging, but its success in 3D modalities such as CT and MRI remains limited
due to the high computational demands of volumetric data, which pose a
significant barrier to training on large-scale, uncurated clinical studies. In
this study, we introduce Hierarchical attention for Language-Image Pre-training
(HLIP), a scalable pre-training framework for 3D medical imaging. HLIP adopts a
lightweight hierarchical attention mechanism inspired by the natural hierarchy
of radiology data: slice, scan, and study. This mechanism exhibits strong
generalizability, e.g., +4.3% macro AUC on the Rad-ChestCT benchmark when
pre-trained on CT-RATE. Moreover, the computational efficiency of HLIP enables
direct training on uncurated datasets. Trained on 220K patients with 3.13
million scans for brain MRI and 240K patients with 1.44 million scans for head
CT, HLIP achieves state-of-the-art performance, e.g., +32.4% balanced ACC on
the proposed publicly available brain MRI benchmark Pub-Brain-5; +1.4% and
+6.9% macro AUC on head CT benchmarks RSNA and CQ500, respectively. These
results demonstrate that, with HLIP, directly pre-training on uncurated
clinical datasets is a scalable and effective direction for language-image
pre-training in 3D medical imaging. The code is available at
https://github.com/Zch0414/hlip