局所性に着目するビジョントランスフォーマー

Locality-Attending Vision Transformer

March 5, 2026

著者: Sina Hajimiri, Farzad Beizaee, Fereshteh Shakeri, Christian Desrosiers, Ismail Ben Ayed, Jose Dolz

cs.AI

要旨

Vision Transformerは、長距離依存関係を捉えるための大域的な自己注意機構を活用することで、画像分類において顕著な成功を収めてきた。しかし、この同じ機構は、セグメンテーションなどのタスクにおいて重要な微細な空間的詳細を不明瞭にする可能性がある。本研究では、標準的な画像レベルの分類学習後に、Vision Transformerのセグメンテーション性能を向上させることを目指す。具体的には、セグメンテーションタスクの性能を向上させながら、Vision Transformerの画像レベル認識能力を維持する、シンプルかつ効果的な追加モジュールを提案する。提案手法では、学習可能なガウシアンカーネルを用いて自己注意を変調し、注意が近傍のパッチに向かうようにバイアスをかける。さらに、パッチ表現を洗練させ、パッチ位置におけるより優れた埋め込みを学習する。これらの修正により、トークンが局所的な周辺情報に注目し、空間位置における意味のある表現を確保すると同時に、大域的情報を組み込むモデルの能力を維持する。実験により、提案手法の有効性が実証され、学習方法を変更したり分類性能を犠牲にすることなく、3つのベンチマーク（例えば、ViT TinyおよびBaseでADE20Kにおいてそれぞれ6%、4%以上の大幅な改善）でセグメンテーション性能が大幅に向上した。コードはhttps://github.com/sinahmr/LocAtViT/で公開されている。

English

Vision transformers have demonstrated remarkable success in classification by leveraging global self-attention to capture long-range dependencies. However, this same mechanism can obscure fine-grained spatial details crucial for tasks such as segmentation. In this work, we seek to enhance segmentation performance of vision transformers after standard image-level classification training. More specifically, we present a simple yet effective add-on that improves performance on segmentation tasks while retaining vision transformers' image-level recognition capabilities. In our approach, we modulate the self-attention with a learnable Gaussian kernel that biases the attention toward neighboring patches. We further refine the patch representations to learn better embeddings at patch positions. These modifications encourage tokens to focus on local surroundings and ensure meaningful representations at spatial positions, while still preserving the model's ability to incorporate global information. Experiments demonstrate the effectiveness of our modifications, evidenced by substantial segmentation gains on three benchmarks (e.g., over 6% and 4% on ADE20K for ViT Tiny and Base), without changing the training regime or sacrificing classification performance. The code is available at https://github.com/sinahmr/LocAtViT/.