Генераторы подписей к изображениям также являются масштабируемыми моделями для обучения в области компьютерного зрения.

Image Captioners Are Scalable Vision Learners Too

June 13, 2023

Авторы: Michael Tschannen, Manoj Kumar, Andreas Steiner, Xiaohua Zhai, Neil Houlsby, Lucas Beyer

cs.AI

Аннотация

Контрастное предварительное обучение на парах изображение-текст из интернета является одной из самых популярных стратегий крупномасштабного предобучения для визуальных моделей, особенно в контексте больших мультимодальных моделей. В то же время, генерация описаний изображений на таких данных обычно считается менее эффективной стратегией предобучения. В данной работе мы проводим справедливое сравнение этих двух стратегий предобучения, тщательно согласовывая данные для обучения, вычислительные ресурсы и емкость модели. Используя стандартный трансформер с архитектурой кодировщик-декодировщик, мы обнаруживаем, что генерация описаний изображений сама по себе оказывается удивительно эффективной: в задачах классификации она создает визуальные кодировщики, конкурентоспособные с кодировщиками, обученными контрастным методом, а в задачах, связанных с визуальными и языковыми данными, даже превосходит их. Мы также анализируем влияние архитектуры модели, масштаба и данных предобучения на качество представлений и обнаруживаем, что генерация описаний демонстрирует такое же или лучшее масштабирование по этим параметрам. В целом наши результаты показывают, что простая генерация описаний изображений является более мощной стратегией предобучения, чем считалось ранее.

English

Contrastive pretraining on image-text pairs from the web is one of the most popular large-scale pretraining strategies for vision backbones, especially in the context of large multimodal models. At the same time, image captioning on this type of data is commonly considered an inferior pretraining strategy. In this paper, we perform a fair comparison of these two pretraining strategies, carefully matching training data, compute, and model capacity. Using a standard encoder-decoder transformer, we find that captioning alone is surprisingly effective: on classification tasks, captioning produces vision encoders competitive with contrastively pretrained encoders, while surpassing them on vision & language tasks. We further analyze the effect of the model architecture and scale, as well as the pretraining data on the representation quality, and find that captioning exhibits the same or better scaling behavior along these axes. Overall our results show that plain image captioning is a more powerful pretraining strategy than was previously believed.