SilVar-Med: Речевая визуальная языковая модель для объяснимого обнаружения аномалий в медицинских изображениях

SilVar-Med: A Speech-Driven Visual Language Model for Explainable Abnormality Detection in Medical Imaging

April 14, 2025

Авторы: Tan-Hanh Pham, Chris Ngo, Trong-Duong Bui, Minh Luu Quang, Tan-Huong Pham, Truong-Son Hy

cs.AI

Аннотация

Медицинские визуальные языковые модели продемонстрировали значительный потенциал в различных областях здравоохранения, включая создание описаний медицинских изображений и помощь в диагностике. Однако большинство существующих моделей полагаются на текстовые инструкции, что ограничивает их применимость в реальных клинических условиях, особенно в таких сценариях, как хирургия, где текстовое взаимодействие часто оказывается непрактичным для врачей. Кроме того, современные модели анализа медицинских изображений обычно не предоставляют подробного обоснования своих прогнозов, что снижает их надежность для принятия клинических решений. Учитывая, что ошибки в медицинской диагностике могут иметь серьезные последствия, существует острая необходимость в интерпретируемой и рациональной медицинской помощи. Для решения этих задач мы представляем end-to-end речевую медицинскую VLM, SilVar-Med, мультимодальный помощник для анализа медицинских изображений, который интегрирует речевое взаимодействие с визуальными языковыми моделями, открывая новое направление в области голосового взаимодействия для анализа медицинских изображений. Кроме того, мы сосредоточились на интерпретации обоснования каждого прогноза медицинских аномалий с использованием предложенного набора данных для рассуждений. В ходе обширных экспериментов мы демонстрируем концептуальное исследование для интерпретации медицинских изображений на основе рассуждений с end-to-end речевым взаимодействием. Мы считаем, что эта работа продвинет область медицинского ИИ, способствуя созданию более прозрачных, интерактивных и клинически применимых систем диагностической поддержки. Наш код и набор данных доступны публично на SiVar-Med.

English

Medical Visual Language Models have shown great potential in various healthcare applications, including medical image captioning and diagnostic assistance. However, most existing models rely on text-based instructions, limiting their usability in real-world clinical environments especially in scenarios such as surgery, text-based interaction is often impractical for physicians. In addition, current medical image analysis models typically lack comprehensive reasoning behind their predictions, which reduces their reliability for clinical decision-making. Given that medical diagnosis errors can have life-changing consequences, there is a critical need for interpretable and rational medical assistance. To address these challenges, we introduce an end-to-end speech-driven medical VLM, SilVar-Med, a multimodal medical image assistant that integrates speech interaction with VLMs, pioneering the task of voice-based communication for medical image analysis. In addition, we focus on the interpretation of the reasoning behind each prediction of medical abnormalities with a proposed reasoning dataset. Through extensive experiments, we demonstrate a proof-of-concept study for reasoning-driven medical image interpretation with end-to-end speech interaction. We believe this work will advance the field of medical AI by fostering more transparent, interactive, and clinically viable diagnostic support systems. Our code and dataset are publicly available at SiVar-Med.