Patch n' Pack: NaViT, ein Vision Transformer für beliebige Seitenverhältnisse und Auflösungen
Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution
July 12, 2023
Autoren: Mostafa Dehghani, Basil Mustafa, Josip Djolonga, Jonathan Heek, Matthias Minderer, Mathilde Caron, Andreas Steiner, Joan Puigcerver, Robert Geirhos, Ibrahim Alabdulmohsin, Avital Oliver, Piotr Padlewski, Alexey Gritsenko, Mario Lučić, Neil Houlsby
cs.AI
Zusammenfassung
Die allgegenwärtige und nachweislich suboptimale Praxis, Bilder vor der Verarbeitung mit Computer-Vision-Modellen auf eine feste Auflösung zu skalieren, wurde bisher noch nicht erfolgreich in Frage gestellt. Modelle wie der Vision Transformer (ViT) bieten jedoch flexible, sequenzbasierte Modellierung und damit variierende Eingabesequenzlängen. Wir nutzen dies mit NaViT (Native Resolution ViT), das während des Trainings Sequenz-Packing verwendet, um Eingaben mit beliebigen Auflösungen und Seitenverhältnissen zu verarbeiten. Neben der flexiblen Modellnutzung zeigen wir eine verbesserte Trainingseffizienz für groß angelegtes supervidiertes und kontrastives Bild-Text-Pretraining. NaViT kann effizient auf Standardaufgaben wie Bild- und Videoklassifikation, Objekterkennung und semantische Segmentierung übertragen werden und führt zu verbesserten Ergebnissen bei Robustheits- und Fairness-Benchmarks. Zur Inferenzzeit kann die Flexibilität der Eingabeauflösung genutzt werden, um den Kompromiss zwischen Kosten und Leistung während des Tests geschickt zu navigieren. Wir glauben, dass NaViT einen Bruch mit der standardmäßigen, für CNNs entwickelten Eingabe- und Modellierungspipeline darstellt, die von den meisten Computer-Vision-Modellen verwendet wird, und eine vielversprechende Richtung für ViTs repräsentiert.
English
The ubiquitous and demonstrably suboptimal choice of resizing images to a
fixed resolution before processing them with computer vision models has not yet
been successfully challenged. However, models such as the Vision Transformer
(ViT) offer flexible sequence-based modeling, and hence varying input sequence
lengths. We take advantage of this with NaViT (Native Resolution ViT) which
uses sequence packing during training to process inputs of arbitrary
resolutions and aspect ratios. Alongside flexible model usage, we demonstrate
improved training efficiency for large-scale supervised and contrastive
image-text pretraining. NaViT can be efficiently transferred to standard tasks
such as image and video classification, object detection, and semantic
segmentation and leads to improved results on robustness and fairness
benchmarks. At inference time, the input resolution flexibility can be used to
smoothly navigate the test-time cost-performance trade-off. We believe that
NaViT marks a departure from the standard, CNN-designed, input and modelling
pipeline used by most computer vision models, and represents a promising
direction for ViTs.