Verbesserung der Anomalieerkennung für Vision-Language-Modelle durch Wissensbeschreibungen

Enhancing Abnormality Grounding for Vision Language Models with Knowledge Descriptions

March 5, 2025

Autoren: Jun Li, Che Liu, Wenjia Bai, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

cs.AI

Zusammenfassung

Visuelle Sprachmodelle (VLMs) haben beeindruckende Fähigkeiten bei visuellen Verankerungsaufgaben gezeigt. Ihre Effektivität im medizinischen Bereich, insbesondere bei der Erkennung und Lokalisierung von Anomalien in medizinischen Bildern, bleibt jedoch weitgehend unerforscht. Eine große Herausforderung ist die komplexe und abstrakte Natur der medizinischen Terminologie, die es schwierig macht, pathologische Anomaliebegriffe direkt mit ihren entsprechenden visuellen Merkmalen zu verknüpfen. In dieser Arbeit stellen wir einen neuartigen Ansatz vor, um die Leistung von VLMs bei der Erkennung und Lokalisierung medizinischer Anomalien durch die Nutzung von zerlegtem medizinischem Wissen zu verbessern. Anstatt Modelle direkt dazu anzuregen, spezifische Anomalien zu erkennen, konzentrieren wir uns darauf, medizinische Konzepte in grundlegende Attribute und gemeinsame visuelle Muster zu zerlegen. Diese Strategie fördert eine stärkere Ausrichtung zwischen textuellen Beschreibungen und visuellen Merkmalen und verbessert sowohl die Erkennung als auch die Lokalisierung von Anomalien in medizinischen Bildern. Wir evaluieren unsere Methode auf dem 0,23B Florence-2 Basismodell und zeigen, dass sie eine vergleichbare Leistung bei der Verankerung von Anomalien erzielt wie deutlich größere 7B LLaVA-basierte medizinische VLMs, obwohl sie nur mit 1,5 % der für solche Modelle verwendeten Daten trainiert wurde. Experimentelle Ergebnisse demonstrieren zudem die Wirksamkeit unseres Ansatzes sowohl bei bekannten als auch bei zuvor unbekannten Anomalien, was auf seine starken Generalisierungsfähigkeiten hindeutet.

English

Visual Language Models (VLMs) have demonstrated impressive capabilities in visual grounding tasks. However, their effectiveness in the medical domain, particularly for abnormality detection and localization within medical images, remains underexplored. A major challenge is the complex and abstract nature of medical terminology, which makes it difficult to directly associate pathological anomaly terms with their corresponding visual features. In this work, we introduce a novel approach to enhance VLM performance in medical abnormality detection and localization by leveraging decomposed medical knowledge. Instead of directly prompting models to recognize specific abnormalities, we focus on breaking down medical concepts into fundamental attributes and common visual patterns. This strategy promotes a stronger alignment between textual descriptions and visual features, improving both the recognition and localization of abnormalities in medical images.We evaluate our method on the 0.23B Florence-2 base model and demonstrate that it achieves comparable performance in abnormality grounding to significantly larger 7B LLaVA-based medical VLMs, despite being trained on only 1.5% of the data used for such models. Experimental results also demonstrate the effectiveness of our approach in both known and previously unseen abnormalities, suggesting its strong generalization capabilities.