Auf dem Weg zu skalierbarer Sprach-Bild-Vorverarbeitung für 3D-Medizinbildgebung

Towards Scalable Language-Image Pre-training for 3D Medical Imaging

May 28, 2025

Autoren: Chenhui Zhao, Yiwei Lyu, Asadur Chowdury, Edward Harake, Akhil Kondepudi, Akshay Rao, Xinhai Hou, Honglak Lee, Todd Hollon

cs.AI

Zusammenfassung

Die Sprach-Bild-Vortrainierung hat in der 2D-Medizinbildgebung starke Leistungen gezeigt, ihr Erfolg in 3D-Modalitäten wie CT und MRT bleibt jedoch aufgrund des hohen Rechenaufwands von Volumendaten begrenzt, was eine erhebliche Hürde für das Training auf großen, unkuratierten klinischen Studien darstellt. In dieser Studie stellen wir Hierarchical Attention for Language-Image Pre-training (HLIP) vor, ein skalierbares Vortrainierungsframework für die 3D-Medizinbildgebung. HLIP verwendet einen leichtgewichtigen hierarchischen Aufmerksamkeitsmechanismus, der von der natürlichen Hierarchie radiologischer Daten inspiriert ist: Schicht, Scan und Studie. Dieser Mechanismus zeigt eine starke Generalisierbarkeit, z. B. +4,3 % Makro-AUC auf dem Rad-ChestCT-Benchmark, wenn auf CT-RATE vortrainiert. Darüber hinaus ermöglicht die Recheneffizienz von HLIP ein direktes Training auf unkuratierten Datensätzen. Nach dem Training auf 220.000 Patienten mit 3,13 Millionen Scans für Gehirn-MRT und 240.000 Patienten mit 1,44 Millionen Scans für Kopf-CT erreicht HLIP Spitzenleistungen, z. B. +32,4 % Balanced ACC auf dem vorgeschlagenen öffentlich verfügbaren Gehirn-MRT-Benchmark Pub-Brain-5; +1,4 % und +6,9 % Makro-AUC auf den Kopf-CT-Benchmarks RSNA und CQ500. Diese Ergebnisse zeigen, dass mit HLIP das direkte Vortrainieren auf unkuratierten klinischen Datensätzen eine skalierbare und effektive Richtung für die Sprach-Bild-Vortrainierung in der 3D-Medizinbildgebung ist. Der Code ist verfügbar unter https://github.com/Zch0414/hlip.

English

Language-image pre-training has demonstrated strong performance in 2D medical imaging, but its success in 3D modalities such as CT and MRI remains limited due to the high computational demands of volumetric data, which pose a significant barrier to training on large-scale, uncurated clinical studies. In this study, we introduce Hierarchical attention for Language-Image Pre-training (HLIP), a scalable pre-training framework for 3D medical imaging. HLIP adopts a lightweight hierarchical attention mechanism inspired by the natural hierarchy of radiology data: slice, scan, and study. This mechanism exhibits strong generalizability, e.g., +4.3% macro AUC on the Rad-ChestCT benchmark when pre-trained on CT-RATE. Moreover, the computational efficiency of HLIP enables direct training on uncurated datasets. Trained on 220K patients with 3.13 million scans for brain MRI and 240K patients with 1.44 million scans for head CT, HLIP achieves state-of-the-art performance, e.g., +32.4% balanced ACC on the proposed publicly available brain MRI benchmark Pub-Brain-5; +1.4% and +6.9% macro AUC on head CT benchmarks RSNA and CQ500, respectively. These results demonstrate that, with HLIP, directly pre-training on uncurated clinical datasets is a scalable and effective direction for language-image pre-training in 3D medical imaging. The code is available at https://github.com/Zch0414/hlip