Amélioration de la compréhension fine dans le pré-entraînement image-texte

Improving fine-grained understanding in image-text pre-training

January 18, 2024

Auteurs: Ioana Bica, Anastasija Ilić, Matthias Bauer, Goker Erdogan, Matko Bošnjak, Christos Kaplanis, Alexey A. Gritsenko, Matthias Minderer, Charles Blundell, Razvan Pascanu, Jovana Mitrović

cs.AI

Résumé

Nous présentons SPARse Fine-grained Contrastive Alignment (SPARC), une méthode simple pour le pré-entraînement de représentations multimodales plus fines à partir de paires image-texte. Étant donné que plusieurs régions d'une image correspondent souvent à des mots individuels, nous proposons d'apprendre un regroupement de régions d'image pour chaque token dans la légende. Pour y parvenir, nous utilisons une métrique de similarité parcimonieuse entre les régions d'image et les tokens linguistiques, et calculons pour chaque token un embedding visuel regroupé par le langage comme la moyenne pondérée des régions. Les embeddings du token et les embeddings visuels regroupés par le langage sont ensuite contrastés via une perte séquentielle fine qui ne dépend que des échantillons individuels et ne nécessite pas d'autres échantillons du lot comme négatifs. Cela permet d'apprendre des informations plus détaillées de manière économiquement efficace en termes de calcul. SPARC combine cette perte fine avec une perte contrastive entre les embeddings globaux de l'image et du texte pour apprendre des représentations qui encodent simultanément des informations globales et locales. Nous évaluons minutieusement notre méthode proposée et montrons une amélioration des performances par rapport aux approches concurrentes, tant sur des tâches au niveau de l'image reposant sur des informations grossières (par exemple, la classification) que sur des tâches au niveau de la région reposant sur des informations fines (par exemple, la recherche, la détection d'objets et la segmentation). De plus, SPARC améliore la fidélité du modèle et la génération de légendes dans les modèles fondamentaux de vision et langage.

English

We introduce SPARse Fine-grained Contrastive Alignment (SPARC), a simple method for pretraining more fine-grained multimodal representations from image-text pairs. Given that multiple image patches often correspond to single words, we propose to learn a grouping of image patches for every token in the caption. To achieve this, we use a sparse similarity metric between image patches and language tokens and compute for each token a language-grouped vision embedding as the weighted average of patches. The token and language-grouped vision embeddings are then contrasted through a fine-grained sequence-wise loss that only depends on individual samples and does not require other batch samples as negatives. This enables more detailed information to be learned in a computationally inexpensive manner. SPARC combines this fine-grained loss with a contrastive loss between global image and text embeddings to learn representations that simultaneously encode global and local information. We thoroughly evaluate our proposed method and show improved performance over competing approaches both on image-level tasks relying on coarse-grained information, e.g. classification, as well as region-level tasks relying on fine-grained information, e.g. retrieval, object detection, and segmentation. Moreover, SPARC improves model faithfulness and captioning in foundational vision-language models.