Verbesserung des fein abgestimmten Verständnisses im Bild-Text-Vortraining

Improving fine-grained understanding in image-text pre-training

January 18, 2024

Autoren: Ioana Bica, Anastasija Ilić, Matthias Bauer, Goker Erdogan, Matko Bošnjak, Christos Kaplanis, Alexey A. Gritsenko, Matthias Minderer, Charles Blundell, Razvan Pascanu, Jovana Mitrović

cs.AI

Zusammenfassung

Wir stellen SPARse Fine-grained Contrastive Alignment (SPARC) vor, eine einfache Methode zum Pretraining feiner abgestufter multimodaler Repräsentationen aus Bild-Text-Paaren. Da mehrere Bildbereiche oft einzelnen Wörtern entsprechen, schlagen wir vor, für jedes Token in der Bildunterschrift eine Gruppierung von Bildbereichen zu lernen. Um dies zu erreichen, verwenden wir ein sparses Ähnlichkeitsmaß zwischen Bildbereichen und Sprach-Tokens und berechnen für jedes Token eine sprachgruppierte visuelle Einbettung als gewichteten Durchschnitt der Bildbereiche. Das Token und die sprachgruppierte visuelle Einbettung werden dann durch einen fein abgestuften sequenziellen Verlust kontrastiert, der nur von einzelnen Beispielen abhängt und keine anderen Batch-Beispiele als Negative benötigt. Dies ermöglicht es, detailliertere Informationen auf eine recheneffiziente Weise zu lernen. SPARC kombiniert diesen fein abgestuften Verlust mit einem kontrastiven Verlust zwischen globalen Bild- und Text-Einbettungen, um Repräsentationen zu lernen, die gleichzeitig globale und lokale Informationen kodieren. Wir evaluieren unsere vorgeschlagene Methode gründlich und zeigen verbesserte Leistungen gegenüber konkurrierenden Ansätzen sowohl bei Aufgaben auf Bildebene, die auf grob abgestuften Informationen beruhen, z.B. Klassifikation, als auch bei Aufgaben auf Regionsebene, die auf fein abgestuften Informationen beruhen, z.B. Retrieval, Objekterkennung und Segmentierung. Darüber hinaus verbessert SPARC die Modelltreue und die Bildbeschreibung in grundlegenden Vision-Sprache-Modellen.

English

We introduce SPARse Fine-grained Contrastive Alignment (SPARC), a simple method for pretraining more fine-grained multimodal representations from image-text pairs. Given that multiple image patches often correspond to single words, we propose to learn a grouping of image patches for every token in the caption. To achieve this, we use a sparse similarity metric between image patches and language tokens and compute for each token a language-grouped vision embedding as the weighted average of patches. The token and language-grouped vision embeddings are then contrasted through a fine-grained sequence-wise loss that only depends on individual samples and does not require other batch samples as negatives. This enables more detailed information to be learned in a computationally inexpensive manner. SPARC combines this fine-grained loss with a contrastive loss between global image and text embeddings to learn representations that simultaneously encode global and local information. We thoroughly evaluate our proposed method and show improved performance over competing approaches both on image-level tasks relying on coarse-grained information, e.g. classification, as well as region-level tasks relying on fine-grained information, e.g. retrieval, object detection, and segmentation. Moreover, SPARC improves model faithfulness and captioning in foundational vision-language models.