SilVar-Med: Een spraakgestuurd visueel taalmodel voor verklaarbare afwijkingendetectie in medische beeldvorming

SilVar-Med: A Speech-Driven Visual Language Model for Explainable Abnormality Detection in Medical Imaging

April 14, 2025

Auteurs: Tan-Hanh Pham, Chris Ngo, Trong-Duong Bui, Minh Luu Quang, Tan-Huong Pham, Truong-Son Hy

cs.AI

Samenvatting

Medische Visuele Taalmodellen hebben groot potentieel getoond in diverse gezondheidszorgtoepassingen, waaronder het beschrijven van medische beelden en diagnostische ondersteuning. De meeste bestaande modellen zijn echter afhankelijk van tekstgebaseerde instructies, wat hun bruikbaarheid in echte klinische omgevingen beperkt, vooral in scenario's zoals chirurgie, waar tekstgebaseerde interactie vaak onpraktisch is voor artsen. Daarnaast ontbreekt het huidige modellen voor medische beeldanalyse meestal aan uitgebreide redeneringen achter hun voorspellingen, wat hun betrouwbaarheid voor klinische besluitvorming vermindert. Gezien het feit dat medische diagnostische fouten levensveranderende gevolgen kunnen hebben, is er een dringende behoefte aan interpreteerbare en rationele medische ondersteuning. Om deze uitdagingen aan te pakken, introduceren we een end-to-end spraakgestuurd medisch VLM, SilVar-Med, een multimodale medische beeldassistent die spraakinteractie integreert met VLMs, en daarmee pionierst in de taak van spraakgebaseerde communicatie voor medische beeldanalyse. Daarnaast richten we ons op de interpretatie van de redenering achter elke voorspelling van medische afwijkingen met een voorgestelde redeneringsdataset. Door uitgebreide experimenten demonstreren we een proof-of-concept studie voor redeneringsgestuurde medische beeldinterpretatie met end-to-end spraakinteractie. Wij geloven dat dit werk het veld van medische AI zal bevorderen door meer transparante, interactieve en klinisch haalbare diagnostische ondersteuningssystemen te stimuleren. Onze code en dataset zijn publiekelijk beschikbaar op SiVar-Med.

English

Medical Visual Language Models have shown great potential in various healthcare applications, including medical image captioning and diagnostic assistance. However, most existing models rely on text-based instructions, limiting their usability in real-world clinical environments especially in scenarios such as surgery, text-based interaction is often impractical for physicians. In addition, current medical image analysis models typically lack comprehensive reasoning behind their predictions, which reduces their reliability for clinical decision-making. Given that medical diagnosis errors can have life-changing consequences, there is a critical need for interpretable and rational medical assistance. To address these challenges, we introduce an end-to-end speech-driven medical VLM, SilVar-Med, a multimodal medical image assistant that integrates speech interaction with VLMs, pioneering the task of voice-based communication for medical image analysis. In addition, we focus on the interpretation of the reasoning behind each prediction of medical abnormalities with a proposed reasoning dataset. Through extensive experiments, we demonstrate a proof-of-concept study for reasoning-driven medical image interpretation with end-to-end speech interaction. We believe this work will advance the field of medical AI by fostering more transparent, interactive, and clinically viable diagnostic support systems. Our code and dataset are publicly available at SiVar-Med.