Los Transformers de Visión Necesitan Registros

Vision Transformers Need Registers

September 28, 2023

Autores: Timothée Darcet, Maxime Oquab, Julien Mairal, Piotr Bojanowski

cs.AI

Resumen

Los Transformers han surgido recientemente como una herramienta poderosa para el aprendizaje de representaciones visuales. En este artículo, identificamos y caracterizamos artefactos en los mapas de características de redes ViT tanto supervisadas como auto-supervisadas. Los artefactos corresponden a tokens de alta norma que aparecen durante la inferencia principalmente en áreas de fondo de baja informativdad en las imágenes, y que son reutilizados para cálculos internos. Proponemos una solución simple pero efectiva basada en proporcionar tokens adicionales a la secuencia de entrada del Vision Transformer para cumplir ese papel. Demostramos que esta solución resuelve completamente el problema tanto para modelos supervisados como auto-supervisados, establece un nuevo estado del arte para modelos visuales auto-supervisados en tareas de predicción visual densa, permite métodos de descubrimiento de objetos con modelos más grandes y, lo más importante, conduce a mapas de características y mapas de atención más suaves para el procesamiento visual posterior.

English

Transformers have recently emerged as a powerful tool for learning visual representations. In this paper, we identify and characterize artifacts in feature maps of both supervised and self-supervised ViT networks. The artifacts correspond to high-norm tokens appearing during inference primarily in low-informative background areas of images, that are repurposed for internal computations. We propose a simple yet effective solution based on providing additional tokens to the input sequence of the Vision Transformer to fill that role. We show that this solution fixes that problem entirely for both supervised and self-supervised models, sets a new state of the art for self-supervised visual models on dense visual prediction tasks, enables object discovery methods with larger models, and most importantly leads to smoother feature maps and attention maps for downstream visual processing.