Amélioration de la localisation des anomalies pour les modèles de vision et langage grâce à des descriptions de connaissances

Enhancing Abnormality Grounding for Vision Language Models with Knowledge Descriptions

March 5, 2025

Auteurs: Jun Li, Che Liu, Wenjia Bai, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

cs.AI

Résumé

Les modèles de langage visuel (VLMs) ont démontré des capacités impressionnantes dans les tâches de référencement visuel. Cependant, leur efficacité dans le domaine médical, en particulier pour la détection et la localisation d'anomalies dans les images médicales, reste peu explorée. Un défi majeur réside dans la nature complexe et abstraite de la terminologie médicale, qui rend difficile l'association directe des termes d'anomalies pathologiques avec leurs caractéristiques visuelles correspondantes. Dans ce travail, nous introduisons une approche novatrice pour améliorer les performances des VLMs dans la détection et la localisation d'anomalies médicales en exploitant des connaissances médicales décomposées. Plutôt que de demander directement aux modèles de reconnaître des anomalies spécifiques, nous nous concentrons sur la décomposition des concepts médicaux en attributs fondamentaux et en motifs visuels communs. Cette stratégie favorise un meilleur alignement entre les descriptions textuelles et les caractéristiques visuelles, améliorant ainsi la reconnaissance et la localisation des anomalies dans les images médicales. Nous évaluons notre méthode sur le modèle de base Florence-2 de 0,23 milliard de paramètres et démontrons qu'elle atteint des performances comparables en matière de référencement d'anomalies à des VLMs médicaux basés sur LLaVA de 7 milliards de paramètres, bien qu'elle n'ait été entraînée qu'avec 1,5 % des données utilisées pour ces modèles. Les résultats expérimentaux montrent également l'efficacité de notre approche pour les anomalies connues et inconnues, suggérant de solides capacités de généralisation.

English

Visual Language Models (VLMs) have demonstrated impressive capabilities in visual grounding tasks. However, their effectiveness in the medical domain, particularly for abnormality detection and localization within medical images, remains underexplored. A major challenge is the complex and abstract nature of medical terminology, which makes it difficult to directly associate pathological anomaly terms with their corresponding visual features. In this work, we introduce a novel approach to enhance VLM performance in medical abnormality detection and localization by leveraging decomposed medical knowledge. Instead of directly prompting models to recognize specific abnormalities, we focus on breaking down medical concepts into fundamental attributes and common visual patterns. This strategy promotes a stronger alignment between textual descriptions and visual features, improving both the recognition and localization of abnormalities in medical images.We evaluate our method on the 0.23B Florence-2 base model and demonstrate that it achieves comparable performance in abnormality grounding to significantly larger 7B LLaVA-based medical VLMs, despite being trained on only 1.5% of the data used for such models. Experimental results also demonstrate the effectiveness of our approach in both known and previously unseen abnormalities, suggesting its strong generalization capabilities.