Mejorando la Detección de Anomalías en Modelos de Lenguaje Visual con Descripciones de Conocimiento

Enhancing Abnormality Grounding for Vision Language Models with Knowledge Descriptions

March 5, 2025

Autores: Jun Li, Che Liu, Wenjia Bai, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

cs.AI

Resumen

Los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés) han demostrado capacidades impresionantes en tareas de anclaje visual. Sin embargo, su efectividad en el ámbito médico, particularmente para la detección y localización de anomalías en imágenes médicas, sigue siendo poco explorada. Un desafío importante es la naturaleza compleja y abstracta de la terminología médica, lo que dificulta asociar directamente los términos de anomalías patológicas con sus características visuales correspondientes. En este trabajo, presentamos un enfoque novedoso para mejorar el rendimiento de los VLMs en la detección y localización de anomalías médicas mediante la utilización de conocimiento médico descompuesto. En lugar de solicitar directamente a los modelos que reconozcan anomalías específicas, nos enfocamos en descomponer los conceptos médicos en atributos fundamentales y patrones visuales comunes. Esta estrategia promueve una alineación más fuerte entre las descripciones textuales y las características visuales, mejorando tanto el reconocimiento como la localización de anomalías en imágenes médicas. Evaluamos nuestro método en el modelo base Florence-2 de 0.23B y demostramos que alcanza un rendimiento comparable en el anclaje de anomalías con VLMs médicos basados en LLaVA de 7B significativamente más grandes, a pesar de haber sido entrenado con solo el 1.5% de los datos utilizados para dichos modelos. Los resultados experimentales también demuestran la efectividad de nuestro enfoque tanto en anomalías conocidas como en aquellas no vistas previamente, sugiriendo sus fuertes capacidades de generalización.

English

Visual Language Models (VLMs) have demonstrated impressive capabilities in visual grounding tasks. However, their effectiveness in the medical domain, particularly for abnormality detection and localization within medical images, remains underexplored. A major challenge is the complex and abstract nature of medical terminology, which makes it difficult to directly associate pathological anomaly terms with their corresponding visual features. In this work, we introduce a novel approach to enhance VLM performance in medical abnormality detection and localization by leveraging decomposed medical knowledge. Instead of directly prompting models to recognize specific abnormalities, we focus on breaking down medical concepts into fundamental attributes and common visual patterns. This strategy promotes a stronger alignment between textual descriptions and visual features, improving both the recognition and localization of abnormalities in medical images.We evaluate our method on the 0.23B Florence-2 base model and demonstrate that it achieves comparable performance in abnormality grounding to significantly larger 7B LLaVA-based medical VLMs, despite being trained on only 1.5% of the data used for such models. Experimental results also demonstrate the effectiveness of our approach in both known and previously unseen abnormalities, suggesting its strong generalization capabilities.