RefAM: Aufmerksamkeitsmagnete für Zero-Shot-Referenzsegmentierung

papers.abstract

Die meisten bestehenden Ansätze zur referenziellen Segmentierung erzielen hohe Leistung nur durch Feinabstimmung oder durch die Kombination mehrerer vortrainierter Modelle, oft auf Kosten zusätzlicher Trainings- und Architekturmodifikationen. Gleichzeitig kodieren großskalige generative Diffusionsmodelle reichhaltige semantische Informationen, was sie als allgemeine Merkmalsextraktoren attraktiv macht. In dieser Arbeit stellen wir eine neue Methode vor, die direkt Merkmale und Aufmerksamkeitswerte aus Diffusions-Transformatoren für nachgelagerte Aufgaben nutzt, ohne Architekturmodifikationen oder zusätzliches Training zu erfordern. Um diese Merkmale systematisch zu bewerten, erweitern wir Benchmarks um Vision-Sprache-Grounding-Aufgaben, die sowohl Bilder als auch Videos umfassen. Unsere zentrale Erkenntnis ist, dass Stoppwörter als Aufmerksamkeitsmagnete wirken: Sie akkumulieren überschüssige Aufmerksamkeit und können gefiltert werden, um Rauschen zu reduzieren. Darüber hinaus identifizieren wir globale Aufmerksamkeits-Senken (GAS), die in tieferen Schichten entstehen, und zeigen, dass sie sicher unterdrückt oder auf Hilfstoken umgeleitet werden können, was zu schärferen und präziseren Grounding-Karten führt. Wir schlagen weiterhin eine Strategie zur Umverteilung der Aufmerksamkeit vor, bei der angehängte Stoppwörter Hintergrundaktivierungen in kleinere Cluster aufteilen, was schärfere und stärker lokalisierte Heatmaps ergibt. Aufbauend auf diesen Erkenntnissen entwickeln wir RefAM, ein einfaches, trainingsfreies Grounding-Framework, das Cross-Attention-Karten, GAS-Behandlung und Umverteilung kombiniert. In Zero-Shot-Referenzsegmentierungs-Benchmarks für Bilder und Videos übertrifft unser Ansatz durchweg frühere Methoden und etabliert einen neuen Stand der Technik ohne Feinabstimmung oder zusätzliche Komponenten.

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: Aufmerksamkeitsmagnete für Zero-Shot-Referenzsegmentierung

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

papers.abstract

Support