Vision Transformer avec Attention Locale

Locality-Attending Vision Transformer

March 5, 2026

Auteurs: Sina Hajimiri, Farzad Beizaee, Fereshteh Shakeri, Christian Desrosiers, Ismail Ben Ayed, Jose Dolz

cs.AI

Résumé

Les transformateurs de vision ont démontré un succès remarquable en classification en exploitant l'auto-attention globale pour capturer les dépendances à longue portée. Cependant, ce même mécanisme peut occulter les détails spatiaux fins cruciaux pour des tâches telles que la segmentation. Dans ce travail, nous cherchons à améliorer les performances de segmentation des transformateurs de vision après un entraînement standard en classification au niveau de l'image. Plus spécifiquement, nous présentons un module additionnel simple mais efficace qui améliore les performances sur les tâches de segmentation tout en préservant les capacités de reconnaissance au niveau de l'image des transformateurs de vision. Dans notre approche, nous modulons l'auto-attention avec un noyau gaussien apprenable qui biaise l'attention vers les patches voisins. Nous affinons en outre les représentations des patches pour apprendre de meilleurs plongements aux positions des patches. Ces modifications encouragent les tokens à se concentrer sur l'environnement local et garantissent des représentations significatives aux positions spatiales, tout en préservant la capacité du modèle à intégrer des informations globales. Les expériences démontrent l'efficacité de nos modifications, attestée par des gains substantiels en segmentation sur trois benchmarks (par exemple, plus de 6 % et 4 % sur ADE20K pour ViT Tiny et Base), sans modifier le régime d'entraînement ni sacrifier les performances de classification. Le code est disponible à l'adresse https://github.com/sinahmr/LocAtViT/.

English

Vision transformers have demonstrated remarkable success in classification by leveraging global self-attention to capture long-range dependencies. However, this same mechanism can obscure fine-grained spatial details crucial for tasks such as segmentation. In this work, we seek to enhance segmentation performance of vision transformers after standard image-level classification training. More specifically, we present a simple yet effective add-on that improves performance on segmentation tasks while retaining vision transformers' image-level recognition capabilities. In our approach, we modulate the self-attention with a learnable Gaussian kernel that biases the attention toward neighboring patches. We further refine the patch representations to learn better embeddings at patch positions. These modifications encourage tokens to focus on local surroundings and ensure meaningful representations at spatial positions, while still preserving the model's ability to incorporate global information. Experiments demonstrate the effectiveness of our modifications, evidenced by substantial segmentation gains on three benchmarks (e.g., over 6% and 4% on ADE20K for ViT Tiny and Base), without changing the training regime or sacrificing classification performance. The code is available at https://github.com/sinahmr/LocAtViT/.