MSViT: Динамическая токенизация с использованием смешанных масштабов для Vision Transformers

MSViT: Dynamic Mixed-Scale Tokenization for Vision Transformers

July 5, 2023

Авторы: Jakob Drachmann Havtorn, Amelie Royer, Tijmen Blankevoort, Babak Ehteshami Bejnordi

cs.AI

Аннотация

Входные токены для Vision Transformers несут мало семантического смысла, так как они определяются как регулярные равномерные участки входного изображения, независимо от его содержания. Однако обработка однородных фоновых областей изображения не должна требовать столько же вычислительных ресурсов, сколько плотные и перегруженные области. Для решения этой проблемы мы предлагаем схему динамической токенизации смешанного масштаба для ViT, MSViT. Наш метод вводит условный механизм выбора, который выбирает оптимальный масштаб токенов для каждой области изображения, так что количество токенов динамически определяется для каждого входного изображения. Предлагаемый модуль выбора является легковесным, не зависит от выбора трансформерной архитектуры и обучается за несколько эпох (например, 20 эпох на ImageNet) с минимальными затратами на обучение. Кроме того, для улучшения условного поведения механизма выбора во время обучения мы вводим новое обобщение функции потерь batch-shaping. Мы показываем, что наш модуль выбора способен изучать значимую семантику, несмотря на локальную работу на уровне грубых участков. Мы проверяем MSViT на задачах классификации и сегментации, где он приводит к улучшенному компромиссу между точностью и сложностью.

English

The input tokens to Vision Transformers carry little semantic meaning as they are defined as regular equal-sized patches of the input image, regardless of its content. However, processing uniform background areas of an image should not necessitate as much compute as dense, cluttered areas. To address this issue, we propose a dynamic mixed-scale tokenization scheme for ViT, MSViT. Our method introduces a conditional gating mechanism that selects the optimal token scale for every image region, such that the number of tokens is dynamically determined per input. The proposed gating module is lightweight, agnostic to the choice of transformer backbone, and trained within a few epochs (e.g., 20 epochs on ImageNet) with little training overhead. In addition, to enhance the conditional behavior of the gate during training, we introduce a novel generalization of the batch-shaping loss. We show that our gating module is able to learn meaningful semantics despite operating locally at the coarse patch-level. We validate MSViT on the tasks of classification and segmentation where it leads to improved accuracy-complexity trade-off.