Lokalitäts-berücksichtigender Vision-Transformer
Locality-Attending Vision Transformer
March 5, 2026
Autoren: Sina Hajimiri, Farzad Beizaee, Fereshteh Shakeri, Christian Desrosiers, Ismail Ben Ayed, Jose Dolz
cs.AI
Zusammenfassung
Vision Transformer haben durch die Nutzung globaler Self-Attention zur Erfassung langreichweitiger Abhängigkeiten bemerkenswerte Erfolge in der Klassifikation erzielt. Derselbe Mechanismus kann jedoch feinkörnige räumliche Details verschleiern, die für Aufgaben wie Segmentierung entscheidend sind. In dieser Arbeit streben wir eine Verbesserung der Segmentierungsleistung von Vision Transformern nach einem Standardtraining auf Bildebene an. Konkret stellen wir ein einfaches, aber effektives Add-on vor, das die Leistung bei Segmentierungsaufgaben verbessert und gleichzeitig die bildbezogenen Erkennungsfähigkeiten der Vision Transformer erhält. In unserem Ansatz modulieren wir die Self-Attention mit einem lernbaren Gauß-Kernel, der die Aufmerksamkeit auf benachbarte Patches lenkt. Wir verfeinern weiterhin die Patch-Repräsentationen, um bessere Einbettungen an Patch-Positionen zu lernen. Diese Modifikationen ermutigen Tokens, sich auf die lokale Umgebung zu konzentrieren und stellen aussagekräftige Repräsentationen an räumlichen Positionen sicher, wobei die Fähigkeit des Modells, globale Informationen zu integrieren, erhalten bleibt. Experimente belegen die Wirksamkeit unserer Modifikationen, die durch deutliche Segmentierungsgewinne auf drei Benchmarks belegt wird (z.B. über 6 % bzw. 4 % auf ADE20K für ViT Tiny und Base), ohne Änderungen am Trainingsregime oder Einbußen bei der Klassifikationsleistung. Der Code ist verfügbar unter https://github.com/sinahmr/LocAtViT/.
English
Vision transformers have demonstrated remarkable success in classification by leveraging global self-attention to capture long-range dependencies. However, this same mechanism can obscure fine-grained spatial details crucial for tasks such as segmentation. In this work, we seek to enhance segmentation performance of vision transformers after standard image-level classification training. More specifically, we present a simple yet effective add-on that improves performance on segmentation tasks while retaining vision transformers' image-level recognition capabilities. In our approach, we modulate the self-attention with a learnable Gaussian kernel that biases the attention toward neighboring patches. We further refine the patch representations to learn better embeddings at patch positions. These modifications encourage tokens to focus on local surroundings and ensure meaningful representations at spatial positions, while still preserving the model's ability to incorporate global information. Experiments demonstrate the effectiveness of our modifications, evidenced by substantial segmentation gains on three benchmarks (e.g., over 6% and 4% on ADE20K for ViT Tiny and Base), without changing the training regime or sacrificing classification performance. The code is available at https://github.com/sinahmr/LocAtViT/.