ProCLIP: Прогрессивное согласование визуальных и языковых представлений с использованием встраивателя на основе LLM

Аннотация

Оригинальный текстовый кодировщик CLIP ограничен максимальной длиной входных данных в 77 токенов, что затрудняет его способность эффективно обрабатывать длинные тексты и выполнять детальное семантическое понимание. Кроме того, текстовый кодировщик CLIP не поддерживает многоязычные входные данные. Все эти ограничения значительно сужают его применимость для более широкого круга задач. Недавние исследования предприняли попытки заменить текстовый кодировщик CLIP на эмбеддер, основанный на LLM (языковых моделях большого масштаба), чтобы улучшить его способность обрабатывать длинные тексты, понимать многоязычные данные и выполнять детальное семантическое понимание. Однако, поскольку пространства представлений LLM и пространство визуально-языковой модели CLIP предварительно обучаются независимо без априорного выравнивания, прямое выравнивание с использованием контрастивного обучения может нарушить внутреннее визуально-языковое выравнивание в кодировщике изображений CLIP, что приводит к недостаточному использованию знаний, полученных в ходе предварительного обучения. Для решения этой проблемы мы предлагаем ProCLIP, прогрессивную структуру выравнивания визуально-языковой модели, основанную на обучении по учебному плану, чтобы эффективно выровнять кодировщик изображений CLIP с эмбеддером на основе LLM. В частности, ProCLIP сначала извлекает знания из текстового кодировщика CLIP в эмбеддер на основе LLM, чтобы использовать богатые предварительно обученные знания CLIP, одновременно устанавливая начальное выравнивание между эмбеддером LLM и кодировщиком изображений CLIP. Затем ProCLIP дополнительно выравнивает кодировщик изображений CLIP с эмбеддером на основе LLM через настройку контрастивного обучения на основе изображений и текстов, используя регуляризацию самообучения, чтобы избежать переобучения. Для достижения более эффективного выравнивания во время наследования представлений и контрастивной настройки применяются потери выравнивания семантики экземпляров и потери выравнивания структуры эмбеддингов. Код доступен по адресу https://github.com/VisionXLab/ProCLIP.

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: Прогрессивное согласование визуальных и языковых представлений с использованием встраивателя на основе LLM

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

Аннотация

Support