Cartes d'attention intrinsèquement fidèles pour les Transformers de vision

Inherently Faithful Attention Maps for Vision Transformers

June 10, 2025

Auteurs: Ananthu Aniraj, Cassio F. Dantas, Dino Ienco, Diego Marcos

cs.AI

Résumé

Nous présentons une méthode basée sur l'attention qui utilise des masques d'attention binaires appris pour garantir que seules les régions d'image attentives influencent la prédiction. Le contexte peut fortement affecter la perception des objets, conduisant parfois à des représentations biaisées, en particulier lorsque les objets apparaissent dans des arrière-plans hors distribution. Parallèlement, de nombreuses tâches centrées sur les objets au niveau de l'image nécessitent d'identifier les régions pertinentes, ce qui exige souvent du contexte. Pour résoudre ce dilemme, nous proposons un cadre en deux étapes : la première étape traite l'image entière pour découvrir les parties de l'objet et identifier les régions pertinentes pour la tâche, tandis que la deuxième étape exploite un masquage d'attention en entrée pour restreindre son champ réceptif à ces régions, permettant une analyse ciblée tout en filtrant les informations potentiellement fallacieuses. Les deux étapes sont entraînées conjointement, permettant à la deuxième étape d'affiner la première. Des expériences approfondies sur divers benchmarks démontrent que notre approche améliore significativement la robustesse contre les corrélations fallacieuses et les arrière-plans hors distribution.

English

We introduce an attention-based method that uses learned binary attention masks to ensure that only attended image regions influence the prediction. Context can strongly affect object perception, sometimes leading to biased representations, particularly when objects appear in out-of-distribution backgrounds. At the same time, many image-level object-centric tasks require identifying relevant regions, often requiring context. To address this conundrum, we propose a two-stage framework: stage 1 processes the full image to discover object parts and identify task-relevant regions, while stage 2 leverages input attention masking to restrict its receptive field to these regions, enabling a focused analysis while filtering out potentially spurious information. Both stages are trained jointly, allowing stage 2 to refine stage 1. Extensive experiments across diverse benchmarks demonstrate that our approach significantly improves robustness against spurious correlations and out-of-distribution backgrounds.