Anche i Generatori di Didascalie per Immagini Sono Modelli Scalabili per l'Apprendimento Visivo

Image Captioners Are Scalable Vision Learners Too

June 13, 2023

Autori: Michael Tschannen, Manoj Kumar, Andreas Steiner, Xiaohua Zhai, Neil Houlsby, Lucas Beyer

cs.AI

Abstract

Il pretraining contrastivo su coppie immagine-testo provenienti dal web è una delle strategie di pretraining su larga scala più popolari per i backbone visivi, specialmente nel contesto di modelli multimodali di grandi dimensioni. Allo stesso tempo, la generazione di didascalie su questo tipo di dati è comunemente considerata una strategia di pretraining inferiore. In questo articolo, effettuiamo un confronto equo di queste due strategie di pretraining, curando attentamente l'allineamento dei dati di addestramento, del calcolo e della capacità del modello. Utilizzando un transformer encoder-decoder standard, scopriamo che la sola generazione di didascalie è sorprendentemente efficace: nei task di classificazione, la generazione di didascalie produce encoder visivi competitivi con quelli addestrati in modo contrastivo, superandoli nei task di visione e linguaggio. Analizziamo ulteriormente l'effetto dell'architettura del modello e della scala, così come dei dati di pretraining sulla qualità della rappresentazione, e scopriamo che la generazione di didascalie mostra lo stesso o un migliore comportamento di scalabilità lungo questi assi. Nel complesso, i nostri risultati dimostrano che la semplice generazione di didascalie è una strategia di pretraining più potente di quanto si credesse in precedenza.

English

Contrastive pretraining on image-text pairs from the web is one of the most popular large-scale pretraining strategies for vision backbones, especially in the context of large multimodal models. At the same time, image captioning on this type of data is commonly considered an inferior pretraining strategy. In this paper, we perform a fair comparison of these two pretraining strategies, carefully matching training data, compute, and model capacity. Using a standard encoder-decoder transformer, we find that captioning alone is surprisingly effective: on classification tasks, captioning produces vision encoders competitive with contrastively pretrained encoders, while surpassing them on vision & language tasks. We further analyze the effect of the model architecture and scale, as well as the pretraining data on the representation quality, and find that captioning exhibits the same or better scaling behavior along these axes. Overall our results show that plain image captioning is a more powerful pretraining strategy than was previously believed.