Встроенные достоверные карты внимания для Vision Transformers

Inherently Faithful Attention Maps for Vision Transformers

June 10, 2025

Авторы: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

cs.AI

Аннотация

Мы представляем метод, основанный на механизме внимания, который использует обученные бинарные маски внимания для обеспечения того, чтобы на предсказание влияли только выделенные области изображения. Контекст может сильно влиять на восприятие объектов, иногда приводя к смещенным представлениям, особенно когда объекты появляются на фонах, выходящих за пределы распределения данных. В то же время многие задачи, ориентированные на объекты на уровне изображения, требуют идентификации релевантных областей, что часто зависит от контекста. Для решения этой проблемы мы предлагаем двухэтапную структуру: на первом этапе обрабатывается всё изображение для обнаружения частей объектов и идентификации областей, значимых для задачи, а на втором этапе используется маскирование входного внимания, чтобы ограничить рецептивное поле этими областями, что позволяет проводить сфокусированный анализ, отфильтровывая потенциально ложную информацию. Оба этапа обучаются совместно, что позволяет второму этапу уточнять результаты первого. Эксперименты на различных наборах данных демонстрируют, что наш подход значительно повышает устойчивость к ложным корреляциям и фонам, выходящим за пределы распределения.

English

We introduce an attention-based method that uses learned binary attention masks to ensure that only attended image regions influence the prediction. Context can strongly affect object perception, sometimes leading to biased representations, particularly when objects appear in out-of-distribution backgrounds. At the same time, many image-level object-centric tasks require identifying relevant regions, often requiring context. To address this conundrum, we propose a two-stage framework: stage 1 processes the full image to discover object parts and identify task-relevant regions, while stage 2 leverages input attention masking to restrict its receptive field to these regions, enabling a focused analysis while filtering out potentially spurious information. Both stages are trained jointly, allowing stage 2 to refine stage 1. Extensive experiments across diverse benchmarks demonstrate that our approach significantly improves robustness against spurious correlations and out-of-distribution backgrounds.