Modelos de Visión-Texto Mejorados con Recuperación y Contraste

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Autores: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Resumen

Los modelos de contraste imagen-texto como CLIP constituyen los bloques fundamentales de muchos sistemas de vanguardia. Si bien sobresalen en el reconocimiento de conceptos genéricos comunes, aún presentan dificultades con entidades específicas que son raras o incluso están ausentes en el conjunto de datos de preentrenamiento. Por lo tanto, un elemento clave para su éxito ha sido el uso de datos de preentrenamiento a gran escala y cuidadosamente seleccionados, con el objetivo de ampliar el conjunto de conceptos que pueden memorizar durante la etapa de preentrenamiento. En este trabajo, exploramos una alternativa a la codificación directa del conocimiento específico en los parámetros del modelo: en su lugar, entrenamos al modelo para recuperar este conocimiento de una memoria externa. Específicamente, proponemos dotar a los modelos existentes de visión y texto con la capacidad de refinar su representación mediante información recuperada de manera multimodal desde una memoria durante la inferencia, lo que mejora significativamente sus predicciones en escenarios de cero disparos. De manera notable, demostramos que esto puede lograrse con un transformador de fusión ligero y de una sola capa, superpuesto a un CLIP congelado. Nuestros experimentos validan que nuestro entrenamiento de contraste mejorado con recuperación (RECO) mejora sustancialmente el rendimiento de CLIP en varias tareas desafiantes de granularidad fina: por ejemplo, +10.9 en Stanford Cars, +10.2 en CUB-2011 y +7.3 en el reciente benchmark OVEN.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.