RefAM: Ímãs de Atenção para Segmentação de Referência Zero-Shot

Resumo

A maioria das abordagens existentes para segmentação referencial alcança um desempenho forte apenas por meio de ajuste fino ou pela composição de múltiplos modelos pré-treinados, frequentemente ao custo de treinamento adicional e modificações arquiteturais. Enquanto isso, modelos generativos de difusão em larga escala codificam informações semânticas ricas, tornando-os atraentes como extratores de características de propósito geral. Neste trabalho, introduzimos um novo método que explora diretamente as características, especificamente os escores de atenção, de transformadores de difusão para tarefas subsequentes, sem exigir modificações arquiteturais nem treinamento adicional. Para avaliar sistematicamente essas características, estendemos benchmarks com tarefas de fundamentação visão-linguagem abrangendo tanto imagens quanto vídeos. Nossa principal percepção é que as palavras de parada atuam como ímãs de atenção: elas acumulam atenção excedente e podem ser filtradas para reduzir ruído. Além disso, identificamos sumidouros globais de atenção (GAS) que emergem em camadas mais profundas e mostramos que eles podem ser suprimidos com segurança ou redirecionados para tokens auxiliares, resultando em mapas de fundamentação mais nítidos e precisos. Propomos ainda uma estratégia de redistribuição de atenção, na qual palavras de parada anexadas particionam ativações de fundo em clusters menores, gerando mapas de calor mais nítidos e localizados. Com base nessas descobertas, desenvolvemos o RefAM, uma estrutura simples de fundamentação sem treinamento que combina mapas de atenção cruzada, manipulação de GAS e redistribuição. Em benchmarks de segmentação referencial de imagem e vídeo em zero-shot, nossa abordagem supera consistentemente métodos anteriores, estabelecendo um novo estado da arte sem ajuste fino ou componentes adicionais.

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: Ímãs de Atenção para Segmentação de Referência Zero-Shot

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

Resumo

Support