ProCLIP: Progressieve Visie-Taal Afstemming via LLM-gebaseerde Embedder

Samenvatting

De originele CLIP-tekstencoder is beperkt door een maximale invoerlengte van 77 tokens, wat zijn vermogen belemmert om lange teksten effectief te verwerken en fijnmazig semantisch begrip te realiseren. Bovendien ondersteunt de CLIP-tekstencoder geen meertalige invoer. Al deze beperkingen verminderen aanzienlijk de toepasbaarheid ervan over een breder scala aan taken. Recente studies hebben geprobeerd de CLIP-tekstencoder te vervangen door een LLM-gebaseerde embedder om het vermogen te verbeteren in het verwerken van lange teksten, meertalig begrip en fijnmazige semantische interpretatie. Echter, omdat de representatieruimtes van LLM's en de visueel-taalkundige ruimte van CLIP onafhankelijk zijn gepretraind zonder uitlijningsprioriteiten, kan directe uitlijning met behulp van contrastief leren de intrinsieke visueel-taalkundige uitlijning in de CLIP-beeldencoder verstoren, wat leidt tot een onderbenutting van de kennis die tijdens het pretrainen is opgedaan. Om deze uitdaging aan te pakken, stellen we ProCLIP voor, een curriculum learning-gebaseerd progressief visueel-taalkundig uitlijningsframework om de CLIP-beeldencoder effectief uit te lijnen met een LLM-gebaseerde embedder. Specifiek destilleert ProCLIP eerst kennis van de CLIP-tekstencoder naar de LLM-gebaseerde embedder om gebruik te maken van de rijke gepretrainde kennis van CLIP terwijl een initiële uitlijning wordt gevestigd tussen de LLM-embedder en de CLIP-beeldencoder. Vervolgens lijn ProCLIP de CLIP-beeldencoder verder uit met de LLM-gebaseerde embedder door middel van beeld-tekst contrastief tunen, waarbij zelfdistillatieregularisatie wordt gebruikt om overfitting te voorkomen. Om een effectievere uitlijning te bereiken, worden instance semantische uitlijningsverlies en embeddingstructuur uitlijningsverlies gebruikt tijdens representatieovererving en contrastief tunen. De code is beschikbaar op https://github.com/VisionXLab/ProCLIP.

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: Progressieve Visie-Taal Afstemming via LLM-gebaseerde Embedder

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

Samenvatting

Support