Transformadores Visuais para Remoção de Ruído

Resumo

Nós nos aprofundamos em um desafio sutil, mas significativo, inerente aos Vision Transformers (ViTs): os mapas de características desses modelos exibem artefatos em forma de grade, o que prejudica o desempenho dos ViTs em tarefas subsequentes. Nossas investigações rastreiam essa questão fundamental até os embeddings posicionais na etapa de entrada. Para resolver isso, propomos um novo modelo de ruído, que é universalmente aplicável a todos os ViTs. Especificamente, o modelo de ruído decompõe as saídas dos ViTs em três componentes: um termo semântico livre de artefatos de ruído e dois termos relacionados a artefatos que são condicionados às localizações dos pixels. Essa decomposição é alcançada ao impor consistência de características entre diferentes visões com campos neurais em uma base por imagem. Esse processo de otimização por imagem extrai características livres de artefatos das saídas brutas dos ViTs, fornecendo características limpas para aplicações offline. Expandindo o escopo de nossa solução para suportar funcionalidade online, introduzimos um denoiser aprendível para prever características livres de artefatos diretamente das saídas não processadas dos ViTs, o que mostra capacidades notáveis de generalização para novos dados sem a necessidade de otimização por imagem. Nossa abordagem em duas etapas, denominada Denoising Vision Transformers (DVT), não requer o retreinamento de ViTs pré-treinados existentes e é imediatamente aplicável a qualquer arquitetura baseada em Transformers. Avaliamos nosso método em uma variedade de ViTs representativos (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Avaliações extensas demonstram que nosso DVT melhora consistentemente e de forma significativa os modelos de propósito geral mais avançados existentes em tarefas semânticas e geométricas em vários conjuntos de dados (por exemplo, +3,84 mIoU). Esperamos que nosso estudo incentive uma reavaliação do design dos ViTs, especialmente em relação ao uso ingênuo de embeddings posicionais.

English

We delve into a nuanced but significant challenge inherent to Vision Transformers (ViTs): feature maps of these models exhibit grid-like artifacts, which detrimentally hurt the performance of ViTs in downstream tasks. Our investigations trace this fundamental issue down to the positional embeddings at the input stage. To address this, we propose a novel noise model, which is universally applicable to all ViTs. Specifically, the noise model dissects ViT outputs into three components: a semantics term free from noise artifacts and two artifact-related terms that are conditioned on pixel locations. Such a decomposition is achieved by enforcing cross-view feature consistency with neural fields in a per-image basis. This per-image optimization process extracts artifact-free features from raw ViT outputs, providing clean features for offline applications. Expanding the scope of our solution to support online functionality, we introduce a learnable denoiser to predict artifact-free features directly from unprocessed ViT outputs, which shows remarkable generalization capabilities to novel data without the need for per-image optimization. Our two-stage approach, termed Denoising Vision Transformers (DVT), does not require re-training existing pre-trained ViTs and is immediately applicable to any Transformer-based architecture. We evaluate our method on a variety of representative ViTs (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Extensive evaluations demonstrate that our DVT consistently and significantly improves existing state-of-the-art general-purpose models in semantic and geometric tasks across multiple datasets (e.g., +3.84 mIoU). We hope our study will encourage a re-evaluation of ViT design, especially regarding the naive use of positional embeddings.