Модели контрастного взаимодействия зрения и текста с улучшенным поиском

Retrieval-Enhanced Contrastive Vision-Text Models

June 12, 2023

Авторы: Ahmet Iscen, Mathilde Caron, Alireza Fathi, Cordelia Schmid

cs.AI

Аннотация

Контрастные модели изображений и текста, такие как CLIP, являются основой многих современных систем. Хотя они превосходно справляются с распознаванием общих концепций, они всё ещё испытывают трудности с детализированными объектами, которые встречаются редко или даже отсутствуют в предобучающем наборе данных. Таким образом, ключевым фактором их успеха стало использование крупномасштабных курируемых данных для предобучения, направленных на расширение набора концепций, которые они могут запомнить на этапе предобучения. В данной работе мы исследуем альтернативу прямому кодированию детализированных знаний в параметры модели: вместо этого мы обучаем модель извлекать эти знания из внешней памяти. В частности, мы предлагаем оснастить существующие модели обработки изображений и текста способностью уточнять свои эмбеддинги с помощью кросс-модальной информации, извлечённой из памяти на этапе вывода, что значительно улучшает их предсказания в условиях zero-shot. Примечательно, что мы показываем, что это можно реализовать с помощью лёгкого однослойного трансформера для слияния поверх замороженного CLIP. Наши эксперименты подтверждают, что обучение с усилением за счёт извлечения (RECO) существенно улучшает производительность CLIP на нескольких сложных задачах детализированного анализа: например, +10,9 на Stanford Cars, +10,2 на CUB-2011 и +7,3 на новом бенчмарке OVEN.

English

Contrastive image-text models such as CLIP form the building blocks of many state-of-the-art systems. While they excel at recognizing common generic concepts, they still struggle on fine-grained entities which are rare, or even absent from the pre-training dataset. Hence, a key ingredient to their success has been the use of large-scale curated pre-training data aiming at expanding the set of concepts that they can memorize during the pre-training stage. In this work, we explore an alternative to encoding fine-grained knowledge directly into the model's parameters: we instead train the model to retrieve this knowledge from an external memory. Specifically, we propose to equip existing vision-text models with the ability to refine their embedding with cross-modal retrieved information from a memory at inference time, which greatly improves their zero-shot predictions. Remarkably, we show that this can be done with a light-weight, single-layer, fusion transformer on top of a frozen CLIP. Our experiments validate that our retrieval-enhanced contrastive (RECO) training improves CLIP performance substantially on several challenging fine-grained tasks: for example +10.9 on Stanford Cars, +10.2 on CUB-2011 and +7.3 on the recent OVEN benchmark.