Rejuvenando a image-GPT como aprendices sólidos de representación visual

Rejuvenating image-GPT as Strong Visual Representation Learners

December 4, 2023

Autores: Sucheng Ren, Zeyu Wang, Hongru Zhu, Junfei Xiao, Alan Yuille, Cihang Xie

cs.AI

Resumen

Este artículo mejora iGPT (image-GPT), uno de los trabajos pioneros que introducen el preentrenamiento autorregresivo para predecir píxeles siguientes en el aprendizaje de representaciones visuales. Se realizan dos cambios simples pero esenciales. Primero, desplazamos el objetivo de predicción de los píxeles brutos a tokens semánticos, permitiendo una comprensión de mayor nivel del contenido visual. Segundo, complementamos el modelado autorregresivo instruyendo al modelo para predecir no solo los siguientes tokens, sino también los tokens visibles. Este enfoque es particularmente efectivo cuando los tokens semánticos están codificados por modelos entrenados de manera discriminativa, como CLIP. Introducimos este novedoso enfoque como D-iGPT. Experimentos extensivos demuestran que D-iGPT sobresale como un fuerte aprendiz de representaciones visuales: un logro notable de D-iGPT es su rendimiento convincente en el conjunto de datos ImageNet-1K -- al entrenar con conjuntos de datos públicamente disponibles, D-iGPT alcanza un 89.5\% de precisión top-1 con un modelo ViT-Large estándar. Este modelo también muestra una fuerte generalización en tareas posteriores y robustez en muestras fuera de distribución. El código está disponible en https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.

English

This paper enhances image-GPT (iGPT), one of the pioneering works that introduce autoregressive pretraining to predict next pixels for visual representation learning. Two simple yet essential changes are made. First, we shift the prediction target from raw pixels to semantic tokens, enabling a higher-level understanding of visual content. Second, we supplement the autoregressive modeling by instructing the model to predict not only the next tokens but also the visible tokens. This pipeline is particularly effective when semantic tokens are encoded by discriminatively trained models, such as CLIP. We introduce this novel approach as D-iGPT. Extensive experiments showcase that D-iGPT excels as a strong learner of visual representations: A notable achievement of D-iGPT is its compelling performance on the ImageNet-1K dataset -- by training on publicly available datasets, D-iGPT achieves 89.5\% top-1 accuracy with a vanilla ViT-Large model. This model also shows strong generalization on the downstream task and robustness on out-of-distribution samples. Code is avaiable at https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.