Beeldonderschrijvers zijn ook schaalbare visuele leerders

Image Captioners Are Scalable Vision Learners Too

June 13, 2023

Auteurs: Michael Tschannen, Manoj Kumar, Andreas Steiner, Xiaohua Zhai, Neil Houlsby, Lucas Beyer

cs.AI

Samenvatting

Contrastieve voorpretraining op afbeelding-tekstparen van het web is een van de meest populaire grootschalige voorpretrainingsstrategieën voor visuele backbones, vooral in de context van grote multimodale modellen. Tegelijkertijd wordt beeldbeschrijving op dit type data algemeen beschouwd als een inferieure voorpretrainingsstrategie. In dit artikel voeren we een eerlijke vergelijking uit van deze twee voorpretrainingsstrategieën, waarbij we zorgvuldig de trainingsdata, rekenkracht en modelcapaciteit afstemmen. Met behulp van een standaard encoder-decoder transformer vinden we dat beeldbeschrijving alleen verrassend effectief is: bij classificatietaken produceert beeldbeschrijving visuele encoders die competitief zijn met contrastief voorgetrainde encoders, terwijl ze deze overtreffen bij visie- en taalgerelateerde taken. We analyseren verder het effect van de modelarchitectuur en schaal, evenals de voorpretrainingsdata op de representatiekwaliteit, en vinden dat beeldbeschrijving hetzelfde of beter schaalgedrag vertoont langs deze assen. Over het geheel genomen tonen onze resultaten aan dat gewone beeldbeschrijving een krachtigere voorpretrainingsstrategie is dan eerder werd aangenomen.

English

Contrastive pretraining on image-text pairs from the web is one of the most popular large-scale pretraining strategies for vision backbones, especially in the context of large multimodal models. At the same time, image captioning on this type of data is commonly considered an inferior pretraining strategy. In this paper, we perform a fair comparison of these two pretraining strategies, carefully matching training data, compute, and model capacity. Using a standard encoder-decoder transformer, we find that captioning alone is surprisingly effective: on classification tasks, captioning produces vision encoders competitive with contrastively pretrained encoders, while surpassing them on vision & language tasks. We further analyze the effect of the model architecture and scale, as well as the pretraining data on the representation quality, and find that captioning exhibits the same or better scaling behavior along these axes. Overall our results show that plain image captioning is a more powerful pretraining strategy than was previously believed.