RefAM: Aandachtsmagneten voor Zero-Shot Referentie Segmentatie

Samenvatting

De meeste bestaande benaderingen voor verwijzende segmentatie bereiken sterke prestaties alleen door fine-tuning of door het combineren van meerdere vooraf getrainde modellen, vaak ten koste van extra training en architectonische aanpassingen. Ondertussen bevatten grootschalige generatieve diffusiemodellen rijke semantische informatie, wat ze aantrekkelijk maakt als algemene feature extractors. In dit werk introduceren we een nieuwe methode die direct gebruikmaakt van features, zoals attentiescores, van diffusie-transformers voor downstream taken, zonder architectonische aanpassingen of extra training. Om deze features systematisch te evalueren, breiden we benchmarks uit met vision-language grounding taken die zowel afbeeldingen als video's omvatten. Onze belangrijkste inzicht is dat stopwoorden fungeren als aandachtmagneten: ze accumuleren overtollige aandacht en kunnen worden gefilterd om ruis te verminderen. Bovendien identificeren we globale aandachtspunten (GAS) die ontstaan in diepere lagen en laten we zien dat deze veilig kunnen worden onderdrukt of omgeleid naar hulptokens, wat leidt tot scherpere en nauwkeurigere grounding maps. We stellen verder een aandachtherverdelingsstrategie voor, waarbij toegevoegde stopwoorden achtergrondactivaties opdelen in kleinere clusters, wat resulteert in scherpere en meer gelokaliseerde heatmaps. Op basis van deze bevindingen ontwikkelen we RefAM, een eenvoudig trainingsvrij grounding framework dat cross-attention maps, GAS-afhandeling en herverdeling combineert. Over zero-shot verwijzende beeld- en videosegmentatie benchmarks heen presteert onze aanpak consistent beter dan eerdere methoden, waarbij een nieuwe state of the art wordt gevestigd zonder fine-tuning of extra componenten.

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: Aandachtsmagneten voor Zero-Shot Referentie Segmentatie

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

Samenvatting

Support