Patch n' Pack: NaViT, um Transformer de Visão para Qualquer Proporção e Resolução

Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution

July 12, 2023

Autores: Mostafa Dehghani, Basil Mustafa, Josip Djolonga, Jonathan Heek, Matthias Minderer, Mathilde Caron, Andreas Steiner, Joan Puigcerver, Robert Geirhos, Ibrahim Alabdulmohsin, Avital Oliver, Piotr Padlewski, Alexey Gritsenko, Mario Lučić, Neil Houlsby

cs.AI

Resumo

A escolha onipresente e comprovadamente subótima de redimensionar imagens para uma resolução fixa antes de processá-las com modelos de visão computacional ainda não foi desafiada com sucesso. No entanto, modelos como o Vision Transformer (ViT) oferecem modelagem baseada em sequências flexíveis e, portanto, comprimentos variáveis de sequência de entrada. Aproveitamos isso com o NaViT (Native Resolution ViT), que utiliza empacotamento de sequências durante o treinamento para processar entradas de resoluções e proporções de aspecto arbitrárias. Além do uso flexível do modelo, demonstramos uma melhoria na eficiência do treinamento para pré-treinamento supervisionado em larga escala e de contraste entre imagem e texto. O NaViT pode ser transferido de forma eficiente para tarefas padrão, como classificação de imagens e vídeos, detecção de objetos e segmentação semântica, e leva a resultados aprimorados em benchmarks de robustez e justiça. No momento da inferência, a flexibilidade da resolução de entrada pode ser usada para navegar suavemente no trade-off entre custo e desempenho em tempo de teste. Acreditamos que o NaViT marca uma mudança em relação ao pipeline padrão de entrada e modelagem projetado para CNNs, usado pela maioria dos modelos de visão computacional, e representa uma direção promissora para os ViTs.

English

The ubiquitous and demonstrably suboptimal choice of resizing images to a fixed resolution before processing them with computer vision models has not yet been successfully challenged. However, models such as the Vision Transformer (ViT) offer flexible sequence-based modeling, and hence varying input sequence lengths. We take advantage of this with NaViT (Native Resolution ViT) which uses sequence packing during training to process inputs of arbitrary resolutions and aspect ratios. Alongside flexible model usage, we demonstrate improved training efficiency for large-scale supervised and contrastive image-text pretraining. NaViT can be efficiently transferred to standard tasks such as image and video classification, object detection, and semantic segmentation and leads to improved results on robustness and fairness benchmarks. At inference time, the input resolution flexibility can be used to smoothly navigate the test-time cost-performance trade-off. We believe that NaViT marks a departure from the standard, CNN-designed, input and modelling pipeline used by most computer vision models, and represents a promising direction for ViTs.