Mejorar la comprensión detallada en el preentrenamiento de imagen-texto

Improving fine-grained understanding in image-text pre-training

January 18, 2024

Autores: Ioana Bica, Anastasija Ilić, Matthias Bauer, Goker Erdogan, Matko Bošnjak, Christos Kaplanis, Alexey A. Gritsenko, Matthias Minderer, Charles Blundell, Razvan Pascanu, Jovana Mitrović

cs.AI

Resumen

Presentamos SPARse Fine-grained Contrastive Alignment (SPARC), un método sencillo para el preentrenamiento de representaciones multimodales más detalladas a partir de pares imagen-texto. Dado que múltiples parches de imagen suelen corresponder a palabras individuales, proponemos aprender una agrupación de parches de imagen para cada token en el texto descriptivo. Para lograrlo, utilizamos una métrica de similitud dispersa entre parches de imagen y tokens de lenguaje, y calculamos para cada token una incrustación visual agrupada por lenguaje como el promedio ponderado de los parches. Luego, contrastamos los tokens y las incrustaciones visuales agrupadas por lenguaje mediante una pérdida secuencial detallada que solo depende de muestras individuales y no requiere otras muestras del lote como negativos. Esto permite aprender información más detallada de manera computacionalmente eficiente. SPARC combina esta pérdida detallada con una pérdida contrastiva entre incrustaciones globales de imagen y texto para aprender representaciones que codifican simultáneamente información global y local. Evaluamos exhaustivamente nuestro método propuesto y demostramos un rendimiento mejorado frente a enfoques competidores tanto en tareas a nivel de imagen que dependen de información de grano grueso, como la clasificación, como en tareas a nivel de región que dependen de información de grano fino, como la recuperación, detección de objetos y segmentación. Además, SPARC mejora la fidelidad del modelo y la generación de descripciones en modelos fundamentales de visión y lenguaje.

English

We introduce SPARse Fine-grained Contrastive Alignment (SPARC), a simple method for pretraining more fine-grained multimodal representations from image-text pairs. Given that multiple image patches often correspond to single words, we propose to learn a grouping of image patches for every token in the caption. To achieve this, we use a sparse similarity metric between image patches and language tokens and compute for each token a language-grouped vision embedding as the weighted average of patches. The token and language-grouped vision embeddings are then contrasted through a fine-grained sequence-wise loss that only depends on individual samples and does not require other batch samples as negatives. This enables more detailed information to be learned in a computationally inexpensive manner. SPARC combines this fine-grained loss with a contrastive loss between global image and text embeddings to learn representations that simultaneously encode global and local information. We thoroughly evaluate our proposed method and show improved performance over competing approaches both on image-level tasks relying on coarse-grained information, e.g. classification, as well as region-level tasks relying on fine-grained information, e.g. retrieval, object detection, and segmentation. Moreover, SPARC improves model faithfulness and captioning in foundational vision-language models.