RefAM: Магниты внимания для сегментации по ссылкам в условиях нулевого сэмплинга

Аннотация

Большинство существующих подходов к сегментации по ссылкам достигают высокой производительности только за счет тонкой настройки или комбинирования нескольких предварительно обученных моделей, что часто сопровождается дополнительными затратами на обучение и модификацией архитектуры. В то же время крупномасштабные генеративные диффузионные модели кодируют богатую семантическую информацию, что делает их привлекательными в качестве универсальных экстракторов признаков. В данной работе мы представляем новый метод, который напрямую использует признаки и оценки внимания из диффузионных трансформеров для решения последующих задач, не требуя ни модификации архитектуры, ни дополнительного обучения. Для систематической оценки этих признаков мы расширяем бенчмарки задачами визуально-языкового заземления, охватывающими как изображения, так и видео. Наше ключевое наблюдение заключается в том, что стоп-слова действуют как магниты внимания: они накапливают избыточное внимание и могут быть отфильтрованы для снижения шума. Более того, мы выявляем глобальные "стоки внимания" (GAS), возникающие в более глубоких слоях, и показываем, что их можно безопасно подавить или перенаправить на вспомогательные токены, что приводит к более четким и точным картам заземления. Мы также предлагаем стратегию перераспределения внимания, при которой добавленные стоп-слова разделяют фоновые активации на меньшие кластеры, создавая более четкие и локализованные тепловые карты. На основе этих результатов мы разрабатываем RefAM — простую, не требующую обучения структуру для заземления, которая объединяет карты перекрестного внимания, обработку GAS и перераспределение. На бенчмарках для сегментации изображений и видео по ссылкам в условиях нулевого обучения наш подход стабильно превосходит предыдущие методы, устанавливая новый эталон без тонкой настройки или дополнительных компонентов.

English

Most existing approaches to referring segmentation achieve strong performance only through fine-tuning or by composing multiple pre-trained models, often at the cost of additional training and architectural modifications. Meanwhile, large-scale generative diffusion models encode rich semantic information, making them attractive as general-purpose feature extractors. In this work, we introduce a new method that directly exploits features, attention scores, from diffusion transformers for downstream tasks, requiring neither architectural modifications nor additional training. To systematically evaluate these features, we extend benchmarks with vision-language grounding tasks spanning both images and videos. Our key insight is that stop words act as attention magnets: they accumulate surplus attention and can be filtered to reduce noise. Moreover, we identify global attention sinks (GAS) emerging in deeper layers and show that they can be safely suppressed or redirected onto auxiliary tokens, leading to sharper and more accurate grounding maps. We further propose an attention redistribution strategy, where appended stop words partition background activations into smaller clusters, yielding sharper and more localized heatmaps. Building on these findings, we develop RefAM, a simple training-free grounding framework that combines cross-attention maps, GAS handling, and redistribution. Across zero-shot referring image and video segmentation benchmarks, our approach consistently outperforms prior methods, establishing a new state of the art without fine-tuning or additional components.

RefAM: Магниты внимания для сегментации по ссылкам в условиях нулевого сэмплинга

RefAM: Attention Magnets for Zero-Shot Referral Segmentation

Аннотация

Support