Денойзинговые Vision Transformers

Аннотация

Мы исследуем тонкую, но значительную проблему, присущую Vision Transformers (ViTs): карты признаков этих моделей демонстрируют сетчатые артефакты, которые негативно сказываются на производительности ViTs в последующих задачах. Наши исследования связывают эту фундаментальную проблему с позиционными эмбеддингами на входном этапе. Для её решения мы предлагаем новую модель шума, которая универсально применима ко всем ViTs. В частности, модель шума разделяет выходы ViT на три компонента: семантический термин, свободный от шумовых артефактов, и два термина, связанных с артефактами, которые зависят от координат пикселей. Такая декомпозиция достигается за счёт обеспечения кросс-видовой согласованности признаков с использованием нейронных полей на основе каждого изображения. Этот процесс оптимизации для каждого изображения извлекает чистые признаки из необработанных выходов ViT, предоставляя очищенные признаки для оффлайн-приложений. Расширяя область применения нашего решения для поддержки онлайн-функциональности, мы вводим обучаемый денойзер, который предсказывает артефакт-свободные признаки непосредственно из необработанных выходов ViT, демонстрируя замечательные способности к обобщению на новых данных без необходимости оптимизации для каждого изображения. Наш двухэтапный подход, названный Denoising Vision Transformers (DVT), не требует переобучения существующих предварительно обученных ViTs и может быть немедленно применён к любой архитектуре на основе Transformers. Мы оцениваем наш метод на различных представительных ViTs (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Обширные оценки показывают, что наш DVT последовательно и значительно улучшает существующие передовые модели общего назначения в семантических и геометрических задачах на множестве наборов данных (например, +3.84 mIoU). Мы надеемся, что наше исследование побудит к пересмотру дизайна ViT, особенно в отношении наивного использования позиционных эмбеддингов.

English

We delve into a nuanced but significant challenge inherent to Vision Transformers (ViTs): feature maps of these models exhibit grid-like artifacts, which detrimentally hurt the performance of ViTs in downstream tasks. Our investigations trace this fundamental issue down to the positional embeddings at the input stage. To address this, we propose a novel noise model, which is universally applicable to all ViTs. Specifically, the noise model dissects ViT outputs into three components: a semantics term free from noise artifacts and two artifact-related terms that are conditioned on pixel locations. Such a decomposition is achieved by enforcing cross-view feature consistency with neural fields in a per-image basis. This per-image optimization process extracts artifact-free features from raw ViT outputs, providing clean features for offline applications. Expanding the scope of our solution to support online functionality, we introduce a learnable denoiser to predict artifact-free features directly from unprocessed ViT outputs, which shows remarkable generalization capabilities to novel data without the need for per-image optimization. Our two-stage approach, termed Denoising Vision Transformers (DVT), does not require re-training existing pre-trained ViTs and is immediately applicable to any Transformer-based architecture. We evaluate our method on a variety of representative ViTs (DINO, MAE, DeiT-III, EVA02, CLIP, DINOv2, DINOv2-reg). Extensive evaluations demonstrate that our DVT consistently and significantly improves existing state-of-the-art general-purpose models in semantic and geometric tasks across multiple datasets (e.g., +3.84 mIoU). We hope our study will encourage a re-evaluation of ViT design, especially regarding the naive use of positional embeddings.