RefAM: ゼロショット参照セグメンテーションのための注意マグネット

要旨

既存の参照セグメンテーション手法の多くは、ファインチューニングや複数の事前学習済みモデルの組み合わせによってのみ高い性能を達成しており、その際に追加のトレーニングやアーキテクチャの変更を必要とすることが多い。一方で、大規模な生成拡散モデルは豊富な意味情報を符号化しており、汎用の特徴抽出器として魅力的である。本研究では、拡散トランスフォーマーから得られる特徴量とアテンションスコアを直接下流タスクに活用する新たな手法を提案する。この手法は、アーキテクチャの変更や追加のトレーニングを必要としない。これらの特徴量を体系的に評価するため、画像とビデオにまたがる視覚言語グラウンディングタスクを用いてベンチマークを拡張した。我々の重要な洞察は、ストップワードがアテンションの磁石として機能し、余剰のアテンションを蓄積し、ノイズを低減するためにフィルタリングできることである。さらに、深い層で現れるグローバルアテンションシンク（GAS）を特定し、それらを安全に抑制または補助トークンにリダイレクトすることで、より鮮明で正確なグラウンディングマップが得られることを示した。また、追加されたストップワードが背景活性化をより小さなクラスタに分割することで、より鮮明で局所化されたヒートマップが得られるアテンション再分配戦略を提案した。これらの知見に基づいて、クロスアテンションマップ、GAS処理、再分配を組み合わせたシンプルなトレーニング不要のグラウンディングフレームワークであるRefAMを開発した。ゼロショット参照画像およびビデオセグメンテーションベンチマークにおいて、我々のアプローチは従来の手法を一貫して上回り、ファインチューニングや追加のコンポーネントなしで新たな最先端を確立した。

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: ゼロショット参照セグメンテーションのための注意マグネット

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

要旨

Support