I Vision Transformer necessitano di registri.

Vision Transformers Need Registers

September 28, 2023

Autori: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Abstract

I Transformer sono emersi recentemente come uno strumento potente per l'apprendimento di rappresentazioni visive. In questo articolo, identifichiamo e caratterizziamo artefatti nelle mappe di caratteristiche di reti ViT sia supervisionate che auto-supervisionate. Gli artefatti corrispondono a token con norma elevata che compaiono durante l'inferenza principalmente nelle aree di sfondo a basso contenuto informativo delle immagini, che vengono riutilizzate per calcoli interni. Proponiamo una soluzione semplice ma efficace basata sull'aggiunta di token aggiuntivi alla sequenza di input del Vision Transformer per svolgere tale ruolo. Dimostriamo che questa soluzione risolve completamente il problema sia per i modelli supervisionati che per quelli auto-supervisionati, stabilisce un nuovo stato dell'arte per i modelli visivi auto-supervisionati nelle attività di predizione visiva densa, consente metodi di scoperta degli oggetti con modelli più grandi e, soprattutto, porta a mappe di caratteristiche e mappe di attenzione più fluide per l'elaborazione visiva a valle.

English

Transformers have recently emerged as a powerful tool for learning visual representations. In this paper, we identify and characterize artifacts in feature maps of both supervised and self-supervised ViT networks. The artifacts correspond to high-norm tokens appearing during inference primarily in low-informative background areas of images, that are repurposed for internal computations. We propose a simple yet effective solution based on providing additional tokens to the input sequence of the Vision Transformer to fill that role. We show that this solution fixes that problem entirely for both supervised and self-supervised models, sets a new state of the art for self-supervised visual models on dense visual prediction tasks, enables object discovery methods with larger models, and most importantly leads to smoother feature maps and attention maps for downstream visual processing.