Rumo a um Pré-treinamento Escalável de Linguagem-Imagem para Imagens Médicas 3D

Towards Scalable Language-Image Pre-training for 3D Medical Imaging

May 28, 2025

Autores: Chenhui Zhao, Yiwei Lyu, Asadur Chowdury, Edward Harake, Akhil Kondepudi, Akshay Rao, Xinhai Hou, Honglak Lee, Todd Hollon

cs.AI

Resumo

O pré-treinamento de linguagem-imagem tem demonstrado um forte desempenho em imagens médicas 2D, mas seu sucesso em modalidades 3D, como TC e RM, permanece limitado devido às altas demandas computacionais de dados volumétricos, que representam uma barreira significativa para o treinamento em estudos clínicos em grande escala e não curados. Neste estudo, introduzimos o Hierarchical Attention for Language-Image Pre-training (HLIP), uma estrutura de pré-treinamento escalável para imagens médicas 3D. O HLIP adota um mecanismo de atenção hierárquica leve, inspirado na hierarquia natural dos dados radiológicos: fatia, exame e estudo. Esse mecanismo exibe uma forte generalização, por exemplo, +4,3% de AUC macro no benchmark Rad-ChestCT quando pré-treinado no CT-RATE. Além disso, a eficiência computacional do HLIP permite o treinamento direto em conjuntos de dados não curados. Treinado em 220 mil pacientes com 3,13 milhões de exames de RM cerebral e 240 mil pacientes com 1,44 milhão de exames de TC de crânio, o HLIP alcança desempenho de ponta, por exemplo, +32,4% de ACC balanceado no benchmark de RM cerebral proposto e publicamente disponível Pub-Brain-5; +1,4% e +6,9% de AUC macro nos benchmarks de TC de crânio RSNA e CQ500, respectivamente. Esses resultados demonstram que, com o HLIP, o pré-treinamento direto em conjuntos de dados clínicos não curados é uma direção escalável e eficaz para o pré-treinamento de linguagem-imagem em imagens médicas 3D. O código está disponível em https://github.com/Zch0414/hlip.

English

Language-image pre-training has demonstrated strong performance in 2D medical imaging, but its success in 3D modalities such as CT and MRI remains limited due to the high computational demands of volumetric data, which pose a significant barrier to training on large-scale, uncurated clinical studies. In this study, we introduce Hierarchical attention for Language-Image Pre-training (HLIP), a scalable pre-training framework for 3D medical imaging. HLIP adopts a lightweight hierarchical attention mechanism inspired by the natural hierarchy of radiology data: slice, scan, and study. This mechanism exhibits strong generalizability, e.g., +4.3% macro AUC on the Rad-ChestCT benchmark when pre-trained on CT-RATE. Moreover, the computational efficiency of HLIP enables direct training on uncurated datasets. Trained on 220K patients with 3.13 million scans for brain MRI and 240K patients with 1.44 million scans for head CT, HLIP achieves state-of-the-art performance, e.g., +32.4% balanced ACC on the proposed publicly available brain MRI benchmark Pub-Brain-5; +1.4% and +6.9% macro AUC on head CT benchmarks RSNA and CQ500, respectively. These results demonstrate that, with HLIP, directly pre-training on uncurated clinical datasets is a scalable and effective direction for language-image pre-training in 3D medical imaging. The code is available at https://github.com/Zch0414/hlip