Denoising Vision Transformers

Abstract

Esploriamo una sfida sfumata ma significativa intrinseca ai Vision Transformers (ViT): le mappe di feature di questi modelli presentano artefatti a griglia, che compromettono negativamente le prestazioni dei ViT nei task downstream. Le nostre indagini ricollegano questo problema fondamentale agli embedding posizionali nella fase di input. Per affrontarlo, proponiamo un nuovo modello di rumore, universalmente applicabile a tutti i ViT. Nello specifico, il modello di rumore scompone gli output dei ViT in tre componenti: un termine semantico privo di artefatti di rumore e due termini legati agli artefatti che sono condizionati dalle posizioni dei pixel. Tale decomposizione è ottenuta imponendo la consistenza delle feature tra diverse viste mediante campi neurali su base per-immagine. Questo processo di ottimizzazione per-immagine estrae feature prive di artefatti dagli output grezzi dei ViT, fornendo feature pulite per applicazioni offline. Estendendo la portata della nostra soluzione per supportare funzionalità online, introduciamo un denoiser apprendibile per prevedere feature prive di artefatti direttamente dagli output non elaborati dei ViT, che mostra notevoli capacità di generalizzazione su nuovi dati senza la necessità di ottimizzazione per-immagine. Il nostro approccio a due fasi, denominato Denoising Vision Transformers (DVT), non richiede il ri-addestramento di ViT pre-addestrati esistenti ed è immediatamente applicabile a qualsiasi architettura basata su Transformer. Valutiamo il nostro metodo su una varietà di ViT rappresentativi (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Valutazioni estensive dimostrano che il nostro DVT migliora in modo consistente e significativo i modelli general-purpose all'avanguardia esistenti in task semantici e geometrici su più dataset (ad esempio, +3.84 mIoU). Speriamo che il nostro studio incoraggi una rivalutazione del design dei ViT, in particolare riguardo all'uso ingenuo degli embedding posizionali.

English

We delve into a nuanced but significant challenge inherent to Vision Transformers (ViTs): feature maps of these models exhibit grid-like artifacts, which detrimentally hurt the performance of ViTs in downstream tasks. Our investigations trace this fundamental issue down to the positional embeddings at the input stage. To address this, we propose a novel noise model, which is universally applicable to all ViTs. Specifically, the noise model dissects ViT outputs into three components: a semantics term free from noise artifacts and two artifact-related terms that are conditioned on pixel locations. Such a decomposition is achieved by enforcing cross-view feature consistency with neural fields in a per-image basis. This per-image optimization process extracts artifact-free features from raw ViT outputs, providing clean features for offline applications. Expanding the scope of our solution to support online functionality, we introduce a learnable denoiser to predict artifact-free features directly from unprocessed ViT outputs, which shows remarkable generalization capabilities to novel data without the need for per-image optimization. Our two-stage approach, termed Denoising Vision Transformers (DVT), does not require re-training existing pre-trained ViTs and is immediately applicable to any Transformer-based architecture. We evaluate our method on a variety of representative ViTs (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Extensive evaluations demonstrate that our DVT consistently and significantly improves existing state-of-the-art general-purpose models in semantic and geometric tasks across multiple datasets (e.g., +3.84 mIoU). We hope our study will encourage a re-evaluation of ViT design, especially regarding the naive use of positional embeddings.