MedVista3D: Vision-Language Modellering voor het Verminderen van Diagnostische Fouten bij 3D CT Ziekte Detectie, Interpretatie en Rapportage

MedVista3D: Vision-Language Modeling for Reducing Diagnostic Errors in 3D CT Disease Detection, Understanding and Reporting

September 4, 2025

Auteurs: Yuheng Li, Yenho Chen, Yuxiang Lai, Jike Zhong, Vanessa Wildman, Xiaofeng Yang

cs.AI

Samenvatting

Radiologische diagnostische fouten - onder meer leesfouten, onoplettendheid en communicatiestoornissen - blijven veelvoorkomend in de klinische praktijk. Deze problemen ontstaan vaak door gemiste lokale afwijkingen, beperkte globale context en variabiliteit in de taal van verslagen. Deze uitdagingen worden versterkt bij 3D-beeldvorming, waar clinici honderden plakjes per scan moeten beoordelen. Het aanpakken hiervan vereist systemen met nauwkeurige lokale detectie, globaal volume-niveau redeneren en semantisch consistente natuurlijke taalrapportage. Bestaande 3D vision-language modellen kunnen echter niet aan alle drie de eisen tegemoetkomen, omdat ze een gebrek hebben aan lokaal-globaal begrip voor ruimtelijk redeneren en moeite hebben met de variabiliteit en ruis van onbewerkte radiologieverslagen. Wij presenteren MedVista3D, een multi-schaal semantisch verrijkt vision-language vooraf getraind raamwerk voor 3D CT-analyse. Om gezamenlijke ziekte detectie en holistische interpretatie mogelijk te maken, voert MedVista3D lokale en globale beeld-tekst uitlijning uit voor fijnmazige representatie leren binnen de context van het volledige volume. Om de variabiliteit van verslagen aan te pakken, passen we taal model herschrijvingen toe en introduceren we een Radiology Semantic Matching Bank voor semantisch bewuste uitlijning. MedVista3D behaalt state-of-the-art prestaties op zero-shot ziekteclassificatie, verslag retrieval en medische visuele vraagbeantwoording, terwijl het goed overdraagbaar is naar orgaan segmentatie en prognose voorspelling. Code en datasets zullen worden vrijgegeven.

English

Radiologic diagnostic errors-under-reading errors, inattentional blindness, and communication failures-remain prevalent in clinical practice. These issues often stem from missed localized abnormalities, limited global context, and variability in report language. These challenges are amplified in 3D imaging, where clinicians must examine hundreds of slices per scan. Addressing them requires systems with precise localized detection, global volume-level reasoning, and semantically consistent natural language reporting. However, existing 3D vision-language models are unable to meet all three needs jointly, lacking local-global understanding for spatial reasoning and struggling with the variability and noise of uncurated radiology reports. We present MedVista3D, a multi-scale semantic-enriched vision-language pretraining framework for 3D CT analysis. To enable joint disease detection and holistic interpretation, MedVista3D performs local and global image-text alignment for fine-grained representation learning within full-volume context. To address report variability, we apply language model rewrites and introduce a Radiology Semantic Matching Bank for semantics-aware alignment. MedVista3D achieves state-of-the-art performance on zero-shot disease classification, report retrieval, and medical visual question answering, while transferring well to organ segmentation and prognosis prediction. Code and datasets will be released.