ProCLIP: Progressive Vision-Sprach-Ausrichtung mittels LLM-basiertem Embedder

papers.abstract

Der ursprüngliche CLIP-Textencoder ist durch eine maximale Eingabelänge von 77 Tokens begrenzt, was seine Fähigkeit zur effektiven Verarbeitung langer Texte und zur feinkörnigen semantischen Analyse beeinträchtigt. Darüber hinaus unterstützt der CLIP-Textencoder keine mehrsprachigen Eingaben. Diese Einschränkungen schränken seine Anwendbarkeit für ein breiteres Aufgabenspektrum erheblich ein. In jüngsten Studien wurde versucht, den CLIP-Textencoder durch einen LLM-basierten Embedder zu ersetzen, um dessen Fähigkeiten in der Verarbeitung langer Texte, im mehrsprachigen Verständnis und in der feinkörnigen semantischen Analyse zu verbessern. Da jedoch die Repräsentationsräume von LLMs und der visuell-sprachliche Raum von CLIP unabhängig voneinander ohne Ausrichtungsprioritäten vortrainiert wurden, kann eine direkte Ausrichtung mittels kontrastiven Lernens die intrinsische visuell-sprachliche Ausrichtung im CLIP-Bildencoder stören, was zu einer Unterauslastung des während des Vortrainings erworbenen Wissens führt. Um diese Herausforderung zu bewältigen, schlagen wir ProCLIP vor, ein auf Curriculum-Learning basierendes progressives visuell-sprachliches Ausrichtungsframework, um den CLIP-Bildencoder effektiv mit einem LLM-basierten Embedder auszurichten. Konkret destilliert ProCLIP zunächst Wissen aus dem CLIP-Textencoder in den LLM-basierten Embedder, um das umfangreiche vortrainierte Wissen von CLIP zu nutzen und gleichzeitig eine initiale Ausrichtung zwischen dem LLM-Embedder und dem CLIP-Bildencoder herzustellen. Anschließend richtet ProCLIP den CLIP-Bildencoder weiter mit dem LLM-basierten Embedder durch kontrastives Fine-Tuning von Bild-Text-Paaren aus, wobei eine Selbst-Distillationsregularisierung eingesetzt wird, um Überanpassung zu vermeiden. Um eine effektivere Ausrichtung zu erreichen, werden während der Repräsentationsvererbung und des kontrastiven Fine-Tunings ein Instanz-Semantik-Ausrichtungsverlust und ein Embedding-Struktur-Ausrichtungsverlust verwendet. Der Code ist verfügbar unter https://github.com/VisionXLab/ProCLIP.

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: Progressive Vision-Sprach-Ausrichtung mittels LLM-basiertem Embedder

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

papers.abstract

Support