ViTAR: Vision-Transformer mit beliebiger Auflösung

ViTAR: Vision Transformer with Any Resolution

March 27, 2024

Autoren: Qihang Fan, Quanzeng You, Xiaotian Han, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang

cs.AI

Zusammenfassung

Dieses Papier behandelt eine bedeutende Herausforderung, der Vision-Transformer (ViTs) gegenüberstehen: ihre eingeschränkte Skalierbarkeit über verschiedene Bildauflösungen hinweg. Typischerweise erleben ViTs einen Leistungsabfall, wenn sie Auflösungen verarbeiten, die sich von denen während des Trainings unterscheiden. Unsere Arbeit führt zwei wichtige Innovationen ein, um dieses Problem anzugehen. Erstens schlagen wir ein neuartiges Modul für die dynamische Auflösungsanpassung vor, das mit einem einzelnen Transformer-Block entworfen ist, speziell um eine äußerst effiziente inkrementelle Token-Integration zu erreichen. Zweitens führen wir unscharfe Positionsencodierung im Vision Transformer ein, um eine konsistente Positionskenntnis über mehrere Auflösungen hinweg bereitzustellen und damit Überanpassung an eine einzelne Trainingsauflösung zu verhindern. Unser resultierendes Modell, ViTAR (Vision Transformer mit beliebiger Auflösung), zeigt beeindruckende Anpassungsfähigkeit, erreicht eine Top-1 Genauigkeit von 83,3\% bei einer Auflösung von 1120x1120 und eine Genauigkeit von 80,4\% bei einer Auflösung von 4032x4032, und das alles bei reduzierten Rechenkosten. ViTAR zeigt auch starke Leistung bei nachgelagerten Aufgaben wie Instanz- und semantischer Segmentierung und kann problemlos mit selbstüberwachten Lerntechniken wie Masked AutoEncoder kombiniert werden. Unsere Arbeit bietet eine kostengünstige Lösung zur Verbesserung der Auflösungsskalierbarkeit von ViTs und ebnet den Weg für vielseitigere und effizientere Bildverarbeitung mit hoher Auflösung.

English

his paper tackles a significant challenge faced by Vision Transformers (ViTs): their constrained scalability across different image resolutions. Typically, ViTs experience a performance decline when processing resolutions different from those seen during training. Our work introduces two key innovations to address this issue. Firstly, we propose a novel module for dynamic resolution adjustment, designed with a single Transformer block, specifically to achieve highly efficient incremental token integration. Secondly, we introduce fuzzy positional encoding in the Vision Transformer to provide consistent positional awareness across multiple resolutions, thereby preventing overfitting to any single training resolution. Our resulting model, ViTAR (Vision Transformer with Any Resolution), demonstrates impressive adaptability, achieving 83.3\% top-1 accuracy at a 1120x1120 resolution and 80.4\% accuracy at a 4032x4032 resolution, all while reducing computational costs. ViTAR also shows strong performance in downstream tasks such as instance and semantic segmentation and can easily combined with self-supervised learning techniques like Masked AutoEncoder. Our work provides a cost-effective solution for enhancing the resolution scalability of ViTs, paving the way for more versatile and efficient high-resolution image processing.