Trasformatore Visivo con Attenzione alla Località

Locality-Attending Vision Transformer

March 5, 2026

Autori: Sina Hajimiri, Farzad Beizaee, Fereshteh Shakeri, Christian Desrosiers, Ismail Ben Ayed, Jose Dolz

cs.AI

Abstract

I transformer per la visione hanno dimostrato un notevole successo nella classificazione sfruttando l'auto-attenzione globale per catturare dipendenze a lungo raggio. Tuttavia, questo stesso meccanismo può oscurare i dettagli spaziali a grana fine, cruciali per compiti come la segmentazione. In questo lavoro, cerchiamo di migliorare le prestazioni di segmentazione dei vision transformer dopo un addestramento standard di classificazione a livello di immagine. Più specificamente, presentiamo un componente aggiuntivo semplice ma efficace che migliora le prestazioni sui compiti di segmentazione preservando le capacità di riconoscimento a livello di immagine dei vision transformer. Nel nostro approccio, moduliamo l'auto-attenzione con un kernel Gaussiano apprendibile che orienta l'attenzione verso le patch vicine. Affiniamo ulteriormente le rappresentazioni delle patch per apprendere embedding migliori alle posizioni delle patch. Queste modifiche incoraggiano i token a concentrarsi sull'intorno locale e assicurano rappresentazioni significative alle posizioni spaziali, preservando comunque la capacità del modello di incorporare informazioni globali. Gli esperimenti dimostrano l'efficacia delle nostre modifiche, evidenziata da sostanziali miglioramenti nella segmentazione su tre benchmark (ad esempio, oltre il 6% e il 4% su ADE20K per ViT Tiny e Base), senza alterare il regime di addestramento o sacrificare le prestazioni di classificazione. Il codice è disponibile all'indirizzo https://github.com/sinahmr/LocAtViT/.

English

Vision transformers have demonstrated remarkable success in classification by leveraging global self-attention to capture long-range dependencies. However, this same mechanism can obscure fine-grained spatial details crucial for tasks such as segmentation. In this work, we seek to enhance segmentation performance of vision transformers after standard image-level classification training. More specifically, we present a simple yet effective add-on that improves performance on segmentation tasks while retaining vision transformers' image-level recognition capabilities. In our approach, we modulate the self-attention with a learnable Gaussian kernel that biases the attention toward neighboring patches. We further refine the patch representations to learn better embeddings at patch positions. These modifications encourage tokens to focus on local surroundings and ensure meaningful representations at spatial positions, while still preserving the model's ability to incorporate global information. Experiments demonstrate the effectiveness of our modifications, evidenced by substantial segmentation gains on three benchmarks (e.g., over 6% and 4% on ADE20K for ViT Tiny and Base), without changing the training regime or sacrificing classification performance. The code is available at https://github.com/sinahmr/LocAtViT/.