Vision Transformers hebben registers nodig

Vision Transformers Need Registers

September 28, 2023

Auteurs: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Samenvatting

Transformers zijn recent naar voren gekomen als een krachtig hulpmiddel voor het leren van visuele representaties. In dit artikel identificeren en karakteriseren we artefacten in feature maps van zowel begeleide als zelf-begeleide ViT-netwerken. De artefacten corresponderen met tokens met een hoge norm die tijdens inferentie voornamelijk verschijnen in weinig-informatieve achtergrondgebieden van afbeeldingen, en die worden hergebruikt voor interne berekeningen. We stellen een eenvoudige maar effectieve oplossing voor, gebaseerd op het toevoegen van extra tokens aan de invoerreeks van de Vision Transformer om die rol te vervullen. We laten zien dat deze oplossing het probleem volledig oplost voor zowel begeleide als zelf-begeleide modellen, een nieuwe staat van de kunst vestigt voor zelf-begeleide visuele modellen op taken voor dichte visuele voorspelling, objectontdekkingsmethoden mogelijk maakt met grotere modellen, en vooral leidt tot vloeiendere feature maps en aandachtmaps voor downstream visuele verwerking.

English

Transformers have recently emerged as a powerful tool for learning visual representations. In this paper, we identify and characterize artifacts in feature maps of both supervised and self-supervised ViT networks. The artifacts correspond to high-norm tokens appearing during inference primarily in low-informative background areas of images, that are repurposed for internal computations. We propose a simple yet effective solution based on providing additional tokens to the input sequence of the Vision Transformer to fill that role. We show that this solution fixes that problem entirely for both supervised and self-supervised models, sets a new state of the art for self-supervised visual models on dense visual prediction tasks, enables object discovery methods with larger models, and most importantly leads to smoother feature maps and attention maps for downstream visual processing.