Patch n' Pack : NaViT, un Vision Transformer pour tout rapport d'aspect et résolution

Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution

July 12, 2023

Auteurs: Mostafa Dehghani, Basil Mustafa, Josip Djolonga, Jonathan Heek, Matthias Minderer, Mathilde Caron, Andreas Steiner, Joan Puigcerver, Robert Geirhos, Ibrahim Alabdulmohsin, Avital Oliver, Piotr Padlewski, Alexey Gritsenko, Mario Lučić, Neil Houlsby

cs.AI

Résumé

Le choix omniprésent et manifestement sous-optimal de redimensionner les images à une résolution fixe avant de les traiter avec des modèles de vision par ordinateur n'a pas encore été remis en cause avec succès. Cependant, des modèles tels que le Vision Transformer (ViT) offrent une modélisation séquentielle flexible, permettant ainsi des longueurs de séquence d'entrée variables. Nous tirons parti de cette caractéristique avec NaViT (Native Resolution ViT), qui utilise le regroupement de séquences pendant l'entraînement pour traiter des entrées de résolutions et de rapports d'aspect arbitraires. Outre une utilisation flexible du modèle, nous démontrons une amélioration de l'efficacité de l'entraînement pour le pré-entraînement supervisé à grande échelle et le pré-entraînement contrastif image-texte. NaViT peut être transféré efficacement à des tâches standard telles que la classification d'images et de vidéos, la détection d'objets et la segmentation sémantique, et conduit à des résultats améliorés sur les benchmarks de robustesse et d'équité. Au moment de l'inférence, la flexibilité de la résolution d'entrée peut être utilisée pour naviguer en douceur dans le compromis coût-performance au moment du test. Nous pensons que NaViT marque un écart par rapport au pipeline d'entrée et de modélisation standard, conçu pour les CNN, utilisé par la plupart des modèles de vision par ordinateur, et représente une direction prometteuse pour les ViTs.

English

The ubiquitous and demonstrably suboptimal choice of resizing images to a fixed resolution before processing them with computer vision models has not yet been successfully challenged. However, models such as the Vision Transformer (ViT) offer flexible sequence-based modeling, and hence varying input sequence lengths. We take advantage of this with NaViT (Native Resolution ViT) which uses sequence packing during training to process inputs of arbitrary resolutions and aspect ratios. Alongside flexible model usage, we demonstrate improved training efficiency for large-scale supervised and contrastive image-text pretraining. NaViT can be efficiently transferred to standard tasks such as image and video classification, object detection, and semantic segmentation and leads to improved results on robustness and fairness benchmarks. At inference time, the input resolution flexibility can be used to smoothly navigate the test-time cost-performance trade-off. We believe that NaViT marks a departure from the standard, CNN-designed, input and modelling pipeline used by most computer vision models, and represents a promising direction for ViTs.