Retrieval-Geversterkte Contrastieve Visueel-Tekstmodellen

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Auteurs: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Samenvatting

Contrastieve beeld-tekstmodellen zoals CLIP vormen de bouwstenen van veel state-of-the-art systemen. Hoewel ze uitblinken in het herkennen van algemene, veelvoorkomende concepten, hebben ze nog steeds moeite met fijnmazige entiteiten die zeldzaam zijn of zelfs ontbreken in de vooraf getrainde dataset. Daarom is een belangrijk ingrediënt voor hun succes het gebruik van grootschalige, zorgvuldig samengestelde vooraf getrainde data, gericht op het uitbreiden van de set concepten die ze kunnen onthouden tijdens de voorafgaande trainingsfase. In dit werk onderzoeken we een alternatief voor het direct coderen van fijnmazige kennis in de parameters van het model: in plaats daarvan trainen we het model om deze kennis op te halen uit een extern geheugen. Specifiek stellen we voor om bestaande visie-tekstmodellen uit te rusten met de mogelijkheid om hun embedding te verfijnen met kruismodale informatie die tijdens de inferentie uit een geheugen wordt opgehaald, wat hun zero-shot voorspellingen aanzienlijk verbetert. Opmerkelijk genoeg laten we zien dat dit kan worden bereikt met een lichtgewicht, enkellaags fusion-transformer bovenop een bevroren CLIP. Onze experimenten valideren dat onze retrieval-enhanced contrastieve (RECO) training de prestaties van CLIP aanzienlijk verbetert op verschillende uitdagende fijnmazige taken: bijvoorbeeld +10,9 op Stanford Cars, +10,2 op CUB-2011 en +7,3 op de recente OVEN-benchmark.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.