Rajeunir l'image-GPT en tant qu'apprenants robustes de représentations visuelles

Rejuvenating image-GPT as Strong Visual Representation Learners

December 4, 2023

Auteurs: Sucheng Ren, Zeyu Wang, Hongru Zhu, Junfei Xiao, Alan Yuille, Cihang Xie

cs.AI

Résumé

Cet article améliore l'image-GPT (iGPT), l'une des premières approches à introduire le pré-entraînement autorégressif pour prédire les pixels suivants dans l'apprentissage de représentations visuelles. Deux modifications simples mais essentielles sont apportées. Premièrement, nous déplaçons la cible de prédiction des pixels bruts vers des tokens sémantiques, permettant une compréhension de plus haut niveau du contenu visuel. Deuxièmement, nous complétons la modélisation autorégressive en demandant au modèle de prédire non seulement les tokens suivants, mais aussi les tokens visibles. Cette approche est particulièrement efficace lorsque les tokens sémantiques sont encodés par des modèles entraînés de manière discriminative, comme CLIP. Nous introduisons cette nouvelle méthode sous le nom de D-iGPT. Des expériences approfondies démontrent que D-iGPT excelle en tant qu'apprenant puissant de représentations visuelles : une réalisation notable de D-iGPT est sa performance impressionnante sur le jeu de données ImageNet-1K — en s'entraînant sur des ensembles de données publiquement disponibles, D-iGPT atteint une précision top-1 de 89,5 % avec un modèle ViT-Large standard. Ce modèle montre également une forte généralisation sur les tâches en aval et une robustesse face aux échantillons hors distribution. Le code est disponible à l'adresse suivante : https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.

English

This paper enhances image-GPT (iGPT), one of the pioneering works that introduce autoregressive pretraining to predict next pixels for visual representation learning. Two simple yet essential changes are made. First, we shift the prediction target from raw pixels to semantic tokens, enabling a higher-level understanding of visual content. Second, we supplement the autoregressive modeling by instructing the model to predict not only the next tokens but also the visible tokens. This pipeline is particularly effective when semantic tokens are encoded by discriminatively trained models, such as CLIP. We introduce this novel approach as D-iGPT. Extensive experiments showcase that D-iGPT excels as a strong learner of visual representations: A notable achievement of D-iGPT is its compelling performance on the ImageNet-1K dataset -- by training on publicly available datasets, D-iGPT achieves 89.5\% top-1 accuracy with a vanilla ViT-Large model. This model also shows strong generalization on the downstream task and robustness on out-of-distribution samples. Code is avaiable at https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.