Transformadores de Visión para Eliminación de Ruido

Resumen

Nos adentramos en un desafío sutil pero significativo inherente a los Transformadores de Visión (ViTs): los mapas de características de estos modelos presentan artefactos en forma de cuadrícula, lo cual perjudica el rendimiento de los ViTs en tareas posteriores. Nuestras investigaciones rastrean este problema fundamental hasta los embeddings posicionales en la etapa de entrada. Para abordarlo, proponemos un nuevo modelo de ruido, que es universalmente aplicable a todos los ViTs. Específicamente, el modelo de ruido descompone las salidas de los ViTs en tres componentes: un término semántico libre de artefactos de ruido y dos términos relacionados con artefactos que dependen de las ubicaciones de los píxeles. Esta descomposición se logra mediante la aplicación de consistencia de características entre vistas con campos neuronales en una base por imagen. Este proceso de optimización por imagen extrae características libres de artefactos a partir de las salidas brutas de los ViTs, proporcionando características limpias para aplicaciones fuera de línea. Ampliando el alcance de nuestra solución para admitir funcionalidad en línea, introducimos un desruidificador aprendible para predecir características libres de artefactos directamente a partir de las salidas sin procesar de los ViTs, el cual muestra capacidades de generalización notables para datos nuevos sin necesidad de optimización por imagen. Nuestro enfoque de dos etapas, denominado Transformadores de Visión con Desruido (DVT), no requiere reentrenar los ViTs preentrenados existentes y es inmediatamente aplicable a cualquier arquitectura basada en Transformadores. Evaluamos nuestro método en una variedad de ViTs representativos (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Evaluaciones extensas demuestran que nuestro DVT mejora de manera consistente y significativa los modelos de propósito general más avanzados en tareas semánticas y geométricas a través de múltiples conjuntos de datos (por ejemplo, +3.84 mIoU). Esperamos que nuestro estudio fomente una reevaluación del diseño de los ViTs, especialmente en lo que respecta al uso ingenuo de los embeddings posicionales.

English

We delve into a nuanced but significant challenge inherent to Vision Transformers (ViTs): feature maps of these models exhibit grid-like artifacts, which detrimentally hurt the performance of ViTs in downstream tasks. Our investigations trace this fundamental issue down to the positional embeddings at the input stage. To address this, we propose a novel noise model, which is universally applicable to all ViTs. Specifically, the noise model dissects ViT outputs into three components: a semantics term free from noise artifacts and two artifact-related terms that are conditioned on pixel locations. Such a decomposition is achieved by enforcing cross-view feature consistency with neural fields in a per-image basis. This per-image optimization process extracts artifact-free features from raw ViT outputs, providing clean features for offline applications. Expanding the scope of our solution to support online functionality, we introduce a learnable denoiser to predict artifact-free features directly from unprocessed ViT outputs, which shows remarkable generalization capabilities to novel data without the need for per-image optimization. Our two-stage approach, termed Denoising Vision Transformers (DVT), does not require re-training existing pre-trained ViTs and is immediately applicable to any Transformer-based architecture. We evaluate our method on a variety of representative ViTs (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Extensive evaluations demonstrate that our DVT consistently and significantly improves existing state-of-the-art general-purpose models in semantic and geometric tasks across multiple datasets (e.g., +3.84 mIoU). We hope our study will encourage a re-evaluation of ViT design, especially regarding the naive use of positional embeddings.