Омоложение Image-GPT как мощного инструмента для обучения визуальных представлений

Rejuvenating image-GPT as Strong Visual Representation Learners

December 4, 2023

Авторы: Sucheng Ren, Zeyu Wang, Hongru Zhu, Junfei Xiao, Alan Yuille, Cihang Xie

cs.AI

Аннотация

В данной работе улучшается модель image-GPT (iGPT), являющаяся одной из первых работ, в которых применяется авторегрессионное предобучение для предсказания следующих пикселей с целью обучения визуальных представлений. Вносятся два простых, но важных изменения. Во-первых, цель предсказания смещается с исходных пикселей на семантические токены, что позволяет достичь более высокого уровня понимания визуального содержания. Во-вторых, авторегрессионное моделирование дополняется инструкцией для модели предсказывать не только следующие токены, но и видимые токены. Этот подход особенно эффективен, когда семантические токены кодируются с использованием дискриминативно обученных моделей, таких как CLIP. Мы представляем этот новый подход как D-iGPT. Многочисленные эксперименты демонстрируют, что D-iGPT превосходно справляется с задачей обучения визуальных представлений: значительным достижением D-iGPT является её впечатляющая производительность на наборе данных ImageNet-1K — при обучении на общедоступных наборах данных D-iGPT достигает точности 89,5% в топ-1 с использованием стандартной модели ViT-Large. Эта модель также демонстрирует сильную обобщающую способность на последующих задачах и устойчивость к данным, выходящим за пределы распределения. Код доступен по адресу https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.

English

This paper enhances image-GPT (iGPT), one of the pioneering works that introduce autoregressive pretraining to predict next pixels for visual representation learning. Two simple yet essential changes are made. First, we shift the prediction target from raw pixels to semantic tokens, enabling a higher-level understanding of visual content. Second, we supplement the autoregressive modeling by instructing the model to predict not only the next tokens but also the visible tokens. This pipeline is particularly effective when semantic tokens are encoded by discriminatively trained models, such as CLIP. We introduce this novel approach as D-iGPT. Extensive experiments showcase that D-iGPT excels as a strong learner of visual representations: A notable achievement of D-iGPT is its compelling performance on the ImageNet-1K dataset -- by training on publicly available datasets, D-iGPT achieves 89.5\% top-1 accuracy with a vanilla ViT-Large model. This model also shows strong generalization on the downstream task and robustness on out-of-distribution samples. Code is avaiable at https://github.com/OliverRensu/D-iGPT{https://github.com/OliverRensu/D-iGPT}.