ViTAR : Vision Transformer avec Résolution Arbitraire

ViTAR: Vision Transformer with Any Resolution

March 27, 2024

Auteurs: Qihang Fan, Quanzeng You, Xiaotian Han, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang

cs.AI

Résumé

Cet article aborde un défi majeur rencontré par les Vision Transformers (ViTs) : leur scalabilité limitée face à différentes résolutions d'images. Typiquement, les ViTs voient leurs performances diminuer lorsqu'ils traitent des résolutions différentes de celles rencontrées lors de l'entraînement. Notre travail introduit deux innovations clés pour résoudre ce problème. Premièrement, nous proposons un nouveau module d'ajustement dynamique de la résolution, conçu avec un seul bloc Transformer, spécifiquement pour réaliser une intégration incrémentale de tokens hautement efficace. Deuxièmement, nous introduisons un encodage positionnel flou dans le Vision Transformer pour fournir une conscience positionnelle cohérente à travers plusieurs résolutions, évitant ainsi le surapprentissage à une seule résolution d'entraînement. Notre modèle résultant, ViTAR (Vision Transformer with Any Resolution), démontre une adaptabilité impressionnante, atteignant une précision top-1 de 83,3 % à une résolution de 1120x1120 et 80,4 % à une résolution de 4032x4032, tout en réduisant les coûts de calcul. ViTAR montre également de solides performances dans des tâches en aval telles que la segmentation d'instances et sémantique, et peut facilement être combiné avec des techniques d'apprentissage auto-supervisé comme le Masked AutoEncoder. Notre travail offre une solution économique pour améliorer la scalabilité en résolution des ViTs, ouvrant la voie à un traitement d'images haute résolution plus polyvalent et efficace.

English

his paper tackles a significant challenge faced by Vision Transformers (ViTs): their constrained scalability across different image resolutions. Typically, ViTs experience a performance decline when processing resolutions different from those seen during training. Our work introduces two key innovations to address this issue. Firstly, we propose a novel module for dynamic resolution adjustment, designed with a single Transformer block, specifically to achieve highly efficient incremental token integration. Secondly, we introduce fuzzy positional encoding in the Vision Transformer to provide consistent positional awareness across multiple resolutions, thereby preventing overfitting to any single training resolution. Our resulting model, ViTAR (Vision Transformer with Any Resolution), demonstrates impressive adaptability, achieving 83.3\% top-1 accuracy at a 1120x1120 resolution and 80.4\% accuracy at a 4032x4032 resolution, all while reducing computational costs. ViTAR also shows strong performance in downstream tasks such as instance and semantic segmentation and can easily combined with self-supervised learning techniques like Masked AutoEncoder. Our work provides a cost-effective solution for enhancing the resolution scalability of ViTs, paving the way for more versatile and efficient high-resolution image processing.