ViTAR: Vision Transformer с любым разрешением

ViTAR: Vision Transformer with Any Resolution

March 27, 2024

Авторы: Qihang Fan, Quanzeng You, Xiaotian Han, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang

cs.AI

Аннотация

Этот документ рассматривает значительное препятствие, с которым сталкиваются Трансформеры Визуального Восприятия (ViTs): их ограниченную масштабируемость при различных разрешениях изображений. Обычно ViTs испытывают снижение производительности при обработке разрешений, отличных от тех, что были использованы во время обучения. Наша работа вводит два ключевых нововведения для решения этой проблемы. Во-первых, мы предлагаем новый модуль для динамической корректировки разрешения, разработанный с использованием одного блока Трансформера, специально для достижения высокоэффективной инкрементной интеграции токенов. Во-вторых, мы внедряем нечеткое позиционное кодирование в Трансформер Визуального Восприятия для обеспечения постоянного позиционного осознания при различных разрешениях, тем самым предотвращая переобучение на любом одном разрешении обучения. Наша полученная модель, ViTAR (Vision Transformer with Any Resolution), демонстрирует впечатляющую адаптивность, достигая точности 83,3\% на разрешении 1120x1120 и 80,4\% на разрешении 4032x4032, при снижении вычислительных затрат. ViTAR также показывает высокую производительность в задачах последующего обучения, таких как сегментация экземпляров и семантическая сегментация, и легко сочетается с техниками обучения без учителя, такими как Маскированный Автокодировщик. Наша работа предлагает экономически эффективное решение для улучшения масштабируемости разрешения ViTs, открывая путь к более универсальной и эффективной обработке изображений высокого разрешения.

English

his paper tackles a significant challenge faced by Vision Transformers (ViTs): their constrained scalability across different image resolutions. Typically, ViTs experience a performance decline when processing resolutions different from those seen during training. Our work introduces two key innovations to address this issue. Firstly, we propose a novel module for dynamic resolution adjustment, designed with a single Transformer block, specifically to achieve highly efficient incremental token integration. Secondly, we introduce fuzzy positional encoding in the Vision Transformer to provide consistent positional awareness across multiple resolutions, thereby preventing overfitting to any single training resolution. Our resulting model, ViTAR (Vision Transformer with Any Resolution), demonstrates impressive adaptability, achieving 83.3\% top-1 accuracy at a 1120x1120 resolution and 80.4\% accuracy at a 4032x4032 resolution, all while reducing computational costs. ViTAR also shows strong performance in downstream tasks such as instance and semantic segmentation and can easily combined with self-supervised learning techniques like Masked AutoEncoder. Our work provides a cost-effective solution for enhancing the resolution scalability of ViTs, paving the way for more versatile and efficient high-resolution image processing.