Rejuvenescendo o image-GPT como Aprendizes Fortes de Representação Visual

Rejuvenating image-GPT as Strong Visual Representation Learners

December 4, 2023

Autores: Sucheng Ren, Zeyu Wang, Hongru Zhu, Junfei Xiao, Alan Yuille, Cihang Xie

cs.AI

Resumo

Este artigo aprimora o iGPT (image-GPT), um dos trabalhos pioneiros que introduzem o pré-treinamento autorregressivo para prever os próximos pixels no aprendizado de representações visuais. Duas mudanças simples, porém essenciais, são propostas. Primeiro, deslocamos o alvo da previsão de pixels brutos para tokens semânticos, permitindo uma compreensão de nível superior do conteúdo visual. Segundo, complementamos a modelagem autorregressiva instruindo o modelo a prever não apenas os próximos tokens, mas também os tokens visíveis. Esse pipeline é particularmente eficaz quando os tokens semânticos são codificados por modelos treinados de forma discriminativa, como o CLIP. Introduzimos essa nova abordagem como D-iGPT. Experimentos extensivos demonstram que o D-iGPT se destaca como um forte aprendiz de representações visuais: um feito notável do D-iGPT é seu desempenho impressionante no conjunto de dados ImageNet-1K — ao treinar em conjuntos de dados publicamente disponíveis, o D-iGPT alcança 89,5% de acurácia top-1 com um modelo ViT-Large padrão. Esse modelo também mostra forte generalização em tarefas subsequentes e robustez em amostras fora da distribuição. O código está disponível em https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.

English

This paper enhances image-GPT (iGPT), one of the pioneering works that introduce autoregressive pretraining to predict next pixels for visual representation learning. Two simple yet essential changes are made. First, we shift the prediction target from raw pixels to semantic tokens, enabling a higher-level understanding of visual content. Second, we supplement the autoregressive modeling by instructing the model to predict not only the next tokens but also the visible tokens. This pipeline is particularly effective when semantic tokens are encoded by discriminatively trained models, such as CLIP. We introduce this novel approach as D-iGPT. Extensive experiments showcase that D-iGPT excels as a strong learner of visual representations: A notable achievement of D-iGPT is its compelling performance on the ImageNet-1K dataset -- by training on publicly available datasets, D-iGPT achieves 89.5\% top-1 accuracy with a vanilla ViT-Large model. This model also shows strong generalization on the downstream task and robustness on out-of-distribution samples. Code is avaiable at https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.