Miglioramento del Grounding delle Anomalie per Modelli Linguistico-Visuali con Descrizioni di Conoscenza

Enhancing Abnormality Grounding for Vision Language Models with Knowledge Descriptions

March 5, 2025

Autori: Jun Li, Che Liu, Wenjia Bai, Rossella Arcucci, Cosmin I. Bercea, Julia A. Schnabel

cs.AI

Abstract

I Modelli di Linguaggio Visivo (VLMs) hanno dimostrato capacità impressionanti nei compiti di ancoraggio visivo. Tuttavia, la loro efficacia nel dominio medico, in particolare per il rilevamento e la localizzazione di anomalie all'interno di immagini mediche, rimane poco esplorata. Una delle principali sfide è la natura complessa e astratta della terminologia medica, che rende difficile associare direttamente i termini di anomalie patologiche con le corrispondenti caratteristiche visive. In questo lavoro, introduciamo un approccio innovativo per migliorare le prestazioni dei VLMs nel rilevamento e nella localizzazione di anomalie mediche sfruttando conoscenze mediche scomposte. Invece di richiedere direttamente ai modelli di riconoscere specifiche anomalie, ci concentriamo sulla scomposizione dei concetti medici in attributi fondamentali e pattern visivi comuni. Questa strategia promuove un allineamento più forte tra le descrizioni testuali e le caratteristiche visive, migliorando sia il riconoscimento che la localizzazione delle anomalie nelle immagini mediche. Valutiamo il nostro metodo sul modello base Florence-2 da 0.23B e dimostriamo che raggiunge prestazioni comparabili nell'ancoraggio delle anomalie rispetto a VLMs medici basati su LLaVA da 7B significativamente più grandi, nonostante sia stato addestrato su solo l'1,5% dei dati utilizzati per tali modelli. I risultati sperimentali dimostrano inoltre l'efficacia del nostro approccio sia per anomalie note che per quelle precedentemente non viste, suggerendo una forte capacità di generalizzazione.

English

Visual Language Models (VLMs) have demonstrated impressive capabilities in visual grounding tasks. However, their effectiveness in the medical domain, particularly for abnormality detection and localization within medical images, remains underexplored. A major challenge is the complex and abstract nature of medical terminology, which makes it difficult to directly associate pathological anomaly terms with their corresponding visual features. In this work, we introduce a novel approach to enhance VLM performance in medical abnormality detection and localization by leveraging decomposed medical knowledge. Instead of directly prompting models to recognize specific abnormalities, we focus on breaking down medical concepts into fundamental attributes and common visual patterns. This strategy promotes a stronger alignment between textual descriptions and visual features, improving both the recognition and localization of abnormalities in medical images.We evaluate our method on the 0.23B Florence-2 base model and demonstrate that it achieves comparable performance in abnormality grounding to significantly larger 7B LLaVA-based medical VLMs, despite being trained on only 1.5% of the data used for such models. Experimental results also demonstrate the effectiveness of our approach in both known and previously unseen abnormalities, suggesting its strong generalization capabilities.