ViTAR: Vision Transformer met Elke Resolutie

Samenvatting

Dit artikel behandelt een belangrijke uitdaging waar Vision Transformers (ViTs) mee te maken hebben: hun beperkte schaalbaarheid over verschillende beeldresoluties. Over het algemeen vertonen ViTs een prestatievermindering bij het verwerken van resoluties die afwijken van die tijdens de training zijn gezien. Ons werk introduceert twee belangrijke innovaties om dit probleem aan te pakken. Ten eerste stellen we een nieuwe module voor voor dynamische resolutieaanpassing, ontworpen met een enkele Transformer-block, specifiek om zeer efficiënte incrementele tokenintegratie te bereiken. Ten tweede introduceren we fuzzy positionele codering in de Vision Transformer om consistente positionele bewustwording over meerdere resoluties te bieden, waardoor overfitting aan een enkele trainingsresolutie wordt voorkomen. Ons resulterende model, ViTAR (Vision Transformer met Elke Resolutie), toont indrukwekkende aanpassingsvermogen, met een top-1 nauwkeurigheid van 83,3% bij een resolutie van 1120x1120 en 80,4% nauwkeurigheid bij een resolutie van 4032x4032, allemaal terwijl de rekenkosten worden verlaagd. ViTAR toont ook sterke prestaties in downstream taken zoals instance- en semantische segmentatie en kan eenvoudig worden gecombineerd met zelfsupervised learning-technieken zoals Masked AutoEncoder. Ons werk biedt een kosteneffectieve oplossing voor het verbeteren van de resolutieschaalbaarheid van ViTs, wat de weg vrijmaakt voor veelzijdigere en efficiëntere beeldverwerking met hoge resolutie.

English

his paper tackles a significant challenge faced by Vision Transformers (ViTs): their constrained scalability across different image resolutions. Typically, ViTs experience a performance decline when processing resolutions different from those seen during training. Our work introduces two key innovations to address this issue. Firstly, we propose a novel module for dynamic resolution adjustment, designed with a single Transformer block, specifically to achieve highly efficient incremental token integration. Secondly, we introduce fuzzy positional encoding in the Vision Transformer to provide consistent positional awareness across multiple resolutions, thereby preventing overfitting to any single training resolution. Our resulting model, ViTAR (Vision Transformer with Any Resolution), demonstrates impressive adaptability, achieving 83.3\% top-1 accuracy at a 1120x1120 resolution and 80.4\% accuracy at a 4032x4032 resolution, all while reducing computational costs. ViTAR also shows strong performance in downstream tasks such as instance and semantic segmentation and can easily combined with self-supervised learning techniques like Masked AutoEncoder. Our work provides a cost-effective solution for enhancing the resolution scalability of ViTs, paving the way for more versatile and efficient high-resolution image processing.

ViTAR: Vision Transformer met Elke Resolutie

ViTAR: Vision Transformer with Any Resolution

Samenvatting

Support