RefAM: Magneti di Attenzione per la Segmentazione Referenziale Zero-Shot

Abstract

La maggior parte degli approcci esistenti per la segmentazione referenziale raggiunge prestazioni elevate solo attraverso il fine-tuning o la composizione di più modelli pre-addestrati, spesso a costo di ulteriori addestramenti e modifiche architetturali. Nel frattempo, i modelli generativi di diffusione su larga scala codificano ricche informazioni semantiche, rendendoli attraenti come estrattori di caratteristiche generici. In questo lavoro, introduciamo un nuovo metodo che sfrutta direttamente le caratteristiche, in particolare i punteggi di attenzione, dai trasformatori di diffusione per compiti downstream, senza richiedere modifiche architetturali né ulteriori addestramenti. Per valutare sistematicamente queste caratteristiche, estendiamo i benchmark con compiti di grounding visivo-linguistico che coprono sia immagini che video. La nostra intuizione chiave è che le parole di stop agiscono come calamite per l'attenzione: accumulano attenzione in eccesso e possono essere filtrate per ridurre il rumore. Inoltre, identifiamo i "global attention sinks" (GAS) che emergono negli strati più profondi e dimostriamo che possono essere soppressi in sicurezza o reindirizzati su token ausiliari, portando a mappe di grounding più nitide e accurate. Proponiamo inoltre una strategia di ridistribuzione dell'attenzione, in cui le parole di stop aggiunte suddividono le attivazioni dello sfondo in cluster più piccoli, producendo heatmap più nitide e localizzate. Basandoci su questi risultati, sviluppiamo RefAM, un semplice framework di grounding senza addestramento che combina mappe di cross-attenzione, gestione dei GAS e ridistribuzione. Sui benchmark di segmentazione referenziale zero-shot per immagini e video, il nostro approccio supera costantemente i metodi precedenti, stabilendo un nuovo stato dell'arte senza fine-tuning o componenti aggiuntivi.

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: Magneti di Attenzione per la Segmentazione Referenziale Zero-Shot

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

Abstract

Support