Modelos Visão-Texto Aprimorados por Recuperação com Contraste

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Autores: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Resumo

Modelos de contraste imagem-texto, como o CLIP, formam os blocos fundamentais de muitos sistemas de última geração. Embora se destaquem no reconhecimento de conceitos genéricos comuns, ainda enfrentam dificuldades com entidades de granularidade fina que são raras ou até mesmo ausentes do conjunto de dados de pré-treinamento. Portanto, um ingrediente-chave para o sucesso desses modelos tem sido o uso de dados de pré-treinamento em grande escala e cuidadosamente curados, visando expandir o conjunto de conceitos que podem memorizar durante a fase de pré-treinamento. Neste trabalho, exploramos uma alternativa à codificação direta do conhecimento de granularidade fina nos parâmetros do modelo: em vez disso, treinamos o modelo para recuperar esse conhecimento de uma memória externa. Especificamente, propomos equipar os modelos visão-texto existentes com a capacidade de refinar sua incorporação (embedding) com informações recuperadas de forma cruzada a partir de uma memória no momento da inferência, o que melhora significativamente suas previsões zero-shot. Notavelmente, mostramos que isso pode ser feito com um transformador de fusão leve e de camada única sobre um CLIP congelado. Nossos experimentos validam que o treinamento contrastivo aprimorado por recuperação (RECO) melhora substancialmente o desempenho do CLIP em várias tarefas desafiadoras de granularidade fina: por exemplo, +10,9 em Stanford Cars, +10,2 em CUB-2011 e +7,3 no recente benchmark OVEN.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.