MedVista3D: Моделирование на основе зрения и языка для снижения диагностических ошибок при обнаружении, понимании и описании заболеваний на 3D КТ-снимках

MedVista3D: Vision-Language Modeling for Reducing Diagnostic Errors in 3D CT Disease Detection, Understanding and Reporting

September 4, 2025

Авторы: Yuheng Li, Yenho Chen, Yuxiang Lai, Jike Zhong, Vanessa Wildman, Xiaofeng Yang

cs.AI

Аннотация

Диагностические ошибки в радиологии — ошибки пропуска, невнимательная слепота и сбои в коммуникации — остаются распространёнными в клинической практике. Эти проблемы часто возникают из-за пропущенных локальных аномалий, ограниченного глобального контекста и вариативности языка в отчетах. Эти сложности усиливаются в 3D-визуализации, где клиницисты должны анализировать сотни срезов на одно сканирование. Для их решения требуются системы с точным локальным обнаружением, глобальным анализом на уровне объема и семантически согласованным формированием отчетов на естественном языке. Однако существующие 3D модели, объединяющие зрение и язык, не способны одновременно удовлетворить все три требования, испытывая недостаток в локально-глобальном понимании для пространственного анализа и сталкиваясь с вариативностью и шумом необработанных радиологических отчетов. Мы представляем MedVista3D — многоуровневую семантически обогащенную модель предварительного обучения для анализа 3D КТ, объединяющую зрение и язык. Для совместного обнаружения заболеваний и целостной интерпретации MedVista3D выполняет локальное и глобальное согласование изображений и текста для обучения тонким представлениям в контексте полного объема. Для устранения вариативности отчетов мы применяем переформулирование с помощью языковых моделей и вводим Банк семантического соответствия радиологии для семантически осознанного согласования. MedVista3D демонстрирует наилучшие результаты в задачах классификации заболеваний без предварительного обучения, поиска отчетов и ответов на медицинские визуальные вопросы, а также успешно переносится на задачи сегментации органов и прогнозирования исхода. Код и наборы данных будут опубликованы.

English

Radiologic diagnostic errors-under-reading errors, inattentional blindness, and communication failures-remain prevalent in clinical practice. These issues often stem from missed localized abnormalities, limited global context, and variability in report language. These challenges are amplified in 3D imaging, where clinicians must examine hundreds of slices per scan. Addressing them requires systems with precise localized detection, global volume-level reasoning, and semantically consistent natural language reporting. However, existing 3D vision-language models are unable to meet all three needs jointly, lacking local-global understanding for spatial reasoning and struggling with the variability and noise of uncurated radiology reports. We present MedVista3D, a multi-scale semantic-enriched vision-language pretraining framework for 3D CT analysis. To enable joint disease detection and holistic interpretation, MedVista3D performs local and global image-text alignment for fine-grained representation learning within full-volume context. To address report variability, we apply language model rewrites and introduce a Radiology Semantic Matching Bank for semantics-aware alignment. MedVista3D achieves state-of-the-art performance on zero-shot disease classification, report retrieval, and medical visual question answering, while transferring well to organ segmentation and prognosis prediction. Code and datasets will be released.