ViTAR: Vision Transformer con Qualsiasi Risoluzione

ViTAR: Vision Transformer with Any Resolution

March 27, 2024

Autori: Qihang Fan, Quanzeng You, Xiaotian Han, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang

cs.AI

Abstract

Questo articolo affronta una sfida significativa dei Vision Transformers (ViT): la loro scalabilità limitata su diverse risoluzioni di immagine. Tipicamente, i ViT subiscono un calo delle prestazioni quando elaborano risoluzioni diverse da quelle osservate durante l'addestramento. Il nostro lavoro introduce due innovazioni chiave per risolvere questo problema. In primo luogo, proponiamo un modulo innovativo per l'aggiustamento dinamico della risoluzione, progettato con un singolo blocco Transformer, specificamente per ottenere un'integrazione incrementale dei token altamente efficiente. In secondo luogo, introduciamo una codifica posizionale fuzzy nel Vision Transformer per fornire una consapevolezza posizionale coerente su più risoluzioni, prevenendo così l'overfitting su una singola risoluzione di addestramento. Il nostro modello risultante, ViTAR (Vision Transformer with Any Resolution), dimostra un'impressionante adattabilità, raggiungendo un'accuratezza top-1 dell'83,3% a una risoluzione di 1120x1120 e un'accuratezza dell'80,4% a una risoluzione di 4032x4032, riducendo al contempo i costi computazionali. ViTAR mostra anche ottime prestazioni in task downstream come la segmentazione istanziale e semantica e può essere facilmente combinato con tecniche di apprendimento auto-supervisionato come il Masked AutoEncoder. Il nostro lavoro fornisce una soluzione economica per migliorare la scalabilità della risoluzione dei ViT, aprendo la strada a un'elaborazione delle immagini ad alta risoluzione più versatile ed efficiente.

English

his paper tackles a significant challenge faced by Vision Transformers (ViTs): their constrained scalability across different image resolutions. Typically, ViTs experience a performance decline when processing resolutions different from those seen during training. Our work introduces two key innovations to address this issue. Firstly, we propose a novel module for dynamic resolution adjustment, designed with a single Transformer block, specifically to achieve highly efficient incremental token integration. Secondly, we introduce fuzzy positional encoding in the Vision Transformer to provide consistent positional awareness across multiple resolutions, thereby preventing overfitting to any single training resolution. Our resulting model, ViTAR (Vision Transformer with Any Resolution), demonstrates impressive adaptability, achieving 83.3\% top-1 accuracy at a 1120x1120 resolution and 80.4\% accuracy at a 4032x4032 resolution, all while reducing computational costs. ViTAR also shows strong performance in downstream tasks such as instance and semantic segmentation and can easily combined with self-supervised learning techniques like Masked AutoEncoder. Our work provides a cost-effective solution for enhancing the resolution scalability of ViTs, paving the way for more versatile and efficient high-resolution image processing.