Modelli Visione-Testo Potenziati con Recupero e Contrasto

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Autori: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Abstract

I modelli contrastivi immagine-testo come CLIP costituiscono i mattoni fondamentali di molti sistemi all'avanguardia. Sebbene eccellano nel riconoscere concetti generici comuni, continuano a lottare con entità a grana fine che sono rare o addirittura assenti dal dataset di pre-addestramento. Pertanto, un ingrediente chiave per il loro successo è stato l'uso di dati di pre-addestramento su larga scala e curati, con l'obiettivo di espandere l'insieme di concetti che possono memorizzare durante la fase di pre-addestramento. In questo lavoro, esploriamo un'alternativa all'incorporazione diretta della conoscenza a grana fine nei parametri del modello: invece, addestriamo il modello a recuperare questa conoscenza da una memoria esterna. Nello specifico, proponiamo di dotare i modelli visione-testo esistenti della capacità di affinare i loro embedding con informazioni recuperate cross-modal da una memoria al momento dell'inferenza, il che migliora notevolmente le loro previsioni zero-shot. In modo notevole, dimostriamo che ciò può essere fatto con un trasformatore di fusione leggero, a singolo strato, posizionato sopra un CLIP congelato. I nostri esperimenti convalidano che il nostro addestramento contrastivo potenziato dal recupero (RECO) migliora sostanzialmente le prestazioni di CLIP su diversi compiti impegnativi a grana fine: ad esempio, +10,9 su Stanford Cars, +10,2 su CUB-2011 e +7,3 sul recente benchmark OVEN.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.