Les générateurs de légendes d'images sont également des apprenants visuels évolutifs.

Image Captioners Are Scalable Vision Learners Too

June 13, 2023

Auteurs: Michael Tschannen, Manoj Kumar, Andreas Steiner, Xiaohua Zhai, Neil Houlsby, Lucas Beyer

cs.AI

Résumé

Le pré-entraînement contrastif sur des paires image-texte provenant du web est l'une des stratégies de pré-entraînement à grande échelle les plus populaires pour les architectures de vision, en particulier dans le contexte des grands modèles multimodaux. Parallèlement, la génération de légendes d'images sur ce type de données est souvent considérée comme une stratégie de pré-entraînement inférieure. Dans cet article, nous effectuons une comparaison équitable de ces deux stratégies de pré-entraînement, en veillant à aligner les données d'entraînement, les ressources de calcul et la capacité du modèle. En utilisant un transformateur encodeur-décodeur standard, nous constatons que la génération de légendes seule est étonnamment efficace : sur les tâches de classification, elle produit des encodeurs de vision compétitifs par rapport à ceux pré-entraînés de manière contrastive, tout en les surpassant sur les tâches combinant vision et langage. Nous analysons également l'effet de l'architecture du modèle et de son échelle, ainsi que des données de pré-entraînement sur la qualité des représentations, et constatons que la génération de légendes présente un comportement de mise à l'échelle similaire ou meilleur selon ces axes. Globalement, nos résultats montrent que la simple génération de légendes d'images est une stratégie de pré-entraînement plus puissante qu'on ne le pensait auparavant.

English

Contrastive pretraining on image-text pairs from the web is one of the most popular large-scale pretraining strategies for vision backbones, especially in the context of large multimodal models. At the same time, image captioning on this type of data is commonly considered an inferior pretraining strategy. In this paper, we perform a fair comparison of these two pretraining strategies, carefully matching training data, compute, and model capacity. Using a standard encoder-decoder transformer, we find that captioning alone is surprisingly effective: on classification tasks, captioning produces vision encoders competitive with contrastively pretrained encoders, while surpassing them on vision & language tasks. We further analyze the effect of the model architecture and scale, as well as the pretraining data on the representation quality, and find that captioning exhibits the same or better scaling behavior along these axes. Overall our results show that plain image captioning is a more powerful pretraining strategy than was previously believed.