Migliorare la comprensione fine-grana nel pre-addestramento immagine-testo

Improving fine-grained understanding in image-text pre-training

January 18, 2024

Autori: Ioana Bica, Anastasija Ilić, Matthias Bauer, Goker Erdogan, Matko Bošnjak, Christos Kaplanis, Alexey A. Gritsenko, Matthias Minderer, Charles Blundell, Razvan Pascanu, Jovana Mitrović

cs.AI

Abstract

Introduciamo SPARse Fine-grained Contrastive Alignment (SPARC), un metodo semplice per il pre-addestramento di rappresentazioni multimodali più dettagliate a partire da coppie immagine-testo. Considerando che più patch di un'immagine spesso corrispondono a singole parole, proponiamo di apprendere un raggruppamento di patch dell'immagine per ogni token nella didascalia. Per raggiungere questo obiettivo, utilizziamo una metrica di similarità sparsa tra le patch dell'immagine e i token linguistici e calcoliamo per ogni token un embedding visivo raggruppato linguisticamente come media ponderata delle patch. I token e gli embedding visivi raggruppati linguisticamente vengono poi confrontati attraverso una perdita dettagliata a livello di sequenza che dipende solo da singoli campioni e non richiede altri campioni del batch come negativi. Ciò consente di apprendere informazioni più dettagliate in modo computazionalmente efficiente. SPARC combina questa perdita dettagliata con una perdita contrastiva tra gli embedding globali di immagine e testo per apprendere rappresentazioni che codificano simultaneamente informazioni globali e locali. Valutiamo approfonditamente il nostro metodo proposto e dimostriamo un miglioramento delle prestazioni rispetto agli approcci concorrenti sia su task a livello di immagine che si basano su informazioni grossolane, ad esempio la classificazione, sia su task a livello di regione che si basano su informazioni dettagliate, ad esempio il retrieval, il rilevamento di oggetti e la segmentazione. Inoltre, SPARC migliora la fedeltà del modello e la generazione di didascalie nei modelli fondamentali di visione e linguaggio.

English

We introduce SPARse Fine-grained Contrastive Alignment (SPARC), a simple method for pretraining more fine-grained multimodal representations from image-text pairs. Given that multiple image patches often correspond to single words, we propose to learn a grouping of image patches for every token in the caption. To achieve this, we use a sparse similarity metric between image patches and language tokens and compute for each token a language-grouped vision embedding as the weighted average of patches. The token and language-grouped vision embeddings are then contrasted through a fine-grained sequence-wise loss that only depends on individual samples and does not require other batch samples as negatives. This enables more detailed information to be learned in a computationally inexpensive manner. SPARC combines this fine-grained loss with a contrastive loss between global image and text embeddings to learn representations that simultaneously encode global and local information. We thoroughly evaluate our proposed method and show improved performance over competing approaches both on image-level tasks relying on coarse-grained information, e.g. classification, as well as region-level tasks relying on fine-grained information, e.g. retrieval, object detection, and segmentation. Moreover, SPARC improves model faithfulness and captioning in foundational vision-language models.