ProCLIP: LLMベースのエンベッダーによる漸進的視覚-言語アラインメント

要旨

元のCLIPテキストエンコーダは、最大77トークンという入力長の制限があり、長文の効果的な処理や細粒度の意味理解を行う能力が制約されています。さらに、CLIPテキストエンコーダは多言語入力に対応していません。これらの制限により、より広範なタスクへの適用性が大幅に制約されています。最近の研究では、CLIPテキストエンコーダをLLMベースのエンベッダーに置き換えることで、長文処理、多言語理解、細粒度の意味理解能力を向上させようとする試みが行われています。しかし、LLMの表現空間とCLIPの視覚言語空間は、事前に独立して学習されており、アライメントの事前情報がないため、コントラスティブ学習を用いた直接的なアライメントは、CLIP画像エンコーダの内在的な視覚言語アライメントを損ない、事前学習で獲得された知識の活用が不十分になる可能性があります。この課題に対処するため、我々はProCLIPを提案します。ProCLIPは、カリキュラム学習に基づく段階的な視覚言語アライメントフレームワークであり、CLIP画像エンコーダとLLMベースのエンベッダーを効果的にアライメントします。具体的には、ProCLIPはまず、CLIPのテキストエンコーダからLLMベースのエンベッダーに知識を蒸留し、CLIPの豊富な事前学習知識を活用しながら、LLMエンベッダーとCLIP画像エンコーダの間の初期アライメントを確立します。その後、ProCLIPは、画像テキストコントラスティブチューニングを通じて、CLIP画像エンコーダとLLMベースのエンベッダーをさらにアライメントし、自己蒸留正則化を用いて過学習を防ぎます。より効果的なアライメントを実現するため、表現継承とコントラスティブチューニングの際に、インスタンス意味アライメント損失と埋め込み構造アライメント損失が採用されています。コードはhttps://github.com/VisionXLab/ProCLIPで公開されています。

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: LLMベースのエンベッダーによる漸進的視覚-言語アラインメント

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

要旨

Support