Retrieval-verbesserte kontrastive Vision-Text-Modelle

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Autoren: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Zusammenfassung

Kontrastive Bild-Text-Modelle wie CLIP bilden die Grundbausteine vieler modernster Systeme. Während sie bei der Erkennung allgemeiner, gängiger Konzepte hervorragende Leistungen erbringen, haben sie nach wie vor Schwierigkeiten mit feingranularen Entitäten, die selten oder sogar im Vorab-Trainingsdatensatz nicht vorhanden sind. Daher war ein entscheidender Faktor für ihren Erfolg die Verwendung von groß angelegten, kuratierten Vorab-Trainingsdaten, die darauf abzielen, die Menge der Konzepte zu erweitern, die sie während des Vorab-Trainings speichern können. In dieser Arbeit untersuchen wir eine Alternative zur direkten Kodierung von feingranularem Wissen in die Parameter des Modells: Stattdessen trainieren wir das Modell, um dieses Wissen aus einem externen Speicher abzurufen. Konkret schlagen wir vor, bestehende Vision-Text-Modelle mit der Fähigkeit auszustatten, ihre Einbettungen durch cross-modale, aus einem Speicher abgerufene Informationen zur Inferenzzeit zu verfeinern, was ihre Zero-Shot-Vorhersagen erheblich verbessert. Bemerkenswerterweise zeigen wir, dass dies mit einem leichtgewichtigen, einlagigen Fusionstransformer auf einem eingefrorenen CLIP-Modell erreicht werden kann. Unsere Experimente bestätigen, dass unser retrieval-verstärktes kontrastives Training (RECO) die Leistung von CLIP bei mehreren anspruchsvollen feingranularen Aufgaben erheblich verbessert: beispielsweise +10,9 bei Stanford Cars, +10,2 bei CUB-2011 und +7,3 beim kürzlich eingeführten OVEN-Benchmark.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.