HealthGPT: Een Medisch Groot Visueel-Taalmodel voor het Verenigen van Begrip en Generatie via Heterogene Kennisadaptatie

HealthGPT: A Medical Large Vision-Language Model for Unifying Comprehension and Generation via Heterogeneous Knowledge Adaptation

February 14, 2025

Auteurs: Tianwei Lin, Wenqiao Zhang, Sijing Li, Yuqian Yuan, Binhe Yu, Haoyuan Li, Wanggui He, Hao Jiang, Mengze Li, Xiaohui Song, Siliang Tang, Jun Xiao, Hui Lin, Yueting Zhuang, Beng Chin Ooi

cs.AI

Samenvatting

We presenteren HealthGPT, een krachtig Medisch Groot Visueel-Taalmodel (Med-LVLM) dat medisch visueel begrip en generatiecapaciteiten integreert binnen een uniform autoregressief paradigma. Onze bootstrapping-filosofie is om heterogeen begrip en generatiekennis geleidelijk aan te passen aan vooraf getrainde grote taalmodellen (LLMs). Dit wordt bereikt door een nieuwe heterogene low-rank adaptatie (H-LoRA) techniek, die wordt aangevuld met een op maat gemaakte hiërarchische visuele perceptiebenadering en een drietraps leerstrategie. Om HealthGPT effectief te trainen, ontwikkelen we een uitgebreide medisch domeinspecifieke dataset voor begrip en generatie genaamd VL-Health. Experimentele resultaten tonen uitzonderlijke prestaties en schaalbaarheid van HealthGPT in medisch visuele geïntegreerde taken. Ons project is toegankelijk op https://github.com/DCDmllm/HealthGPT.

English

We present HealthGPT, a powerful Medical Large Vision-Language Model (Med-LVLM) that integrates medical visual comprehension and generation capabilities within a unified autoregressive paradigm. Our bootstrapping philosophy is to progressively adapt heterogeneous comprehension and generation knowledge to pre-trained large language models (LLMs). This is achieved through a novel heterogeneous low-rank adaptation (H-LoRA) technique, which is complemented by a tailored hierarchical visual perception approach and a three-stage learning strategy. To effectively learn the HealthGPT, we devise a comprehensive medical domain-specific comprehension and generation dataset called VL-Health. Experimental results demonstrate exceptional performance and scalability of HealthGPT in medical visual unified tasks. Our project can be accessed at https://github.com/DCDmllm/HealthGPT.