Bildbeschreiber sind ebenfalls skalierbare visuelle Lernmodelle.
Image Captioners Are Scalable Vision Learners Too
June 13, 2023
Autoren: Michael Tschannen, Manoj Kumar, Andreas Steiner, Xiaohua Zhai, Neil Houlsby, Lucas Beyer
cs.AI
Zusammenfassung
Kontrastives Pretraining auf Bild-Text-Paaren aus dem Internet ist eine der beliebtesten groß angelegten Pretraining-Strategien für Vision-Backbones, insbesondere im Kontext großer multimodaler Modelle. Gleichzeitig wird Bildbeschreibung auf dieser Art von Daten häufig als eine unterlegene Pretraining-Strategie angesehen. In diesem Artikel führen wir einen fairen Vergleich dieser beiden Pretraining-Strategien durch, wobei wir Trainingsdaten, Rechenleistung und Modellkapazität sorgfältig abgleichen. Unter Verwendung eines standardmäßigen Encoder-Decoder-Transformers stellen wir fest, dass Bildbeschreibung allein überraschend effektiv ist: Bei Klassifizierungsaufgaben erzeugt Bildbeschreibung Vision-Encoder, die mit kontrastiv vortrainierten Encodern konkurrieren können, während sie diese bei Vision- und Sprachaufgaben übertreffen. Wir analysieren weiterhin den Einfluss der Modellarchitektur und -skalierung sowie der Pretraining-Daten auf die Repräsentationsqualität und stellen fest, dass Bildbeschreibung das gleiche oder ein besseres Skalierungsverhalten entlang dieser Achsen zeigt. Insgesamt zeigen unsere Ergebnisse, dass einfache Bildbeschreibung eine leistungsfähigere Pretraining-Strategie ist, als bisher angenommen wurde.
English
Contrastive pretraining on image-text pairs from the web is one of the most
popular large-scale pretraining strategies for vision backbones, especially in
the context of large multimodal models. At the same time, image captioning on
this type of data is commonly considered an inferior pretraining strategy. In
this paper, we perform a fair comparison of these two pretraining strategies,
carefully matching training data, compute, and model capacity. Using a standard
encoder-decoder transformer, we find that captioning alone is surprisingly
effective: on classification tasks, captioning produces vision encoders
competitive with contrastively pretrained encoders, while surpassing them on
vision & language tasks. We further analyze the effect of the model
architecture and scale, as well as the pretraining data on the representation
quality, and find that captioning exhibits the same or better scaling behavior
along these axes. Overall our results show that plain image captioning is a
more powerful pretraining strategy than was previously believed.