ProCLIP: Alineación Progresiva Visión-Lenguaje mediante un Embedder Basado en LLM

Resumen

El codificador de texto original de CLIP está limitado por una longitud máxima de entrada de 77 tokens, lo que dificulta su capacidad para procesar textos largos y realizar una comprensión semántica detallada. Además, el codificador de texto de CLIP carece de soporte para entradas multilingües. Todas estas limitaciones restringen significativamente su aplicabilidad en una gama más amplia de tareas. Estudios recientes han intentado reemplazar el codificador de texto de CLIP con un codificador basado en LLM (Modelo de Lenguaje Grande) para mejorar su capacidad en el procesamiento de textos largos, la comprensión multilingüe y la comprensión semántica detallada. Sin embargo, dado que los espacios de representación de los LLM y el espacio de visión-lenguaje de CLIP se entrenan previamente de manera independiente sin alineación previa, la alineación directa mediante aprendizaje contrastivo puede perturbar la alineación intrínseca de visión-lenguaje en el codificador de imágenes de CLIP, lo que lleva a una subutilización del conocimiento adquirido durante el preentrenamiento. Para abordar este desafío, proponemos ProCLIP, un marco de alineación progresiva de visión-lenguaje basado en aprendizaje curricular, que alinea eficazmente el codificador de imágenes de CLIP con un codificador basado en LLM. Específicamente, ProCLIP primero destila conocimiento del codificador de texto de CLIP en el codificador basado en LLM para aprovechar el rico conocimiento preentrenado de CLIP, al mismo tiempo que establece una alineación inicial entre el codificador LLM y el codificador de imágenes de CLIP. Posteriormente, ProCLIP alinea aún más el codificador de imágenes de CLIP con el codificador basado en LLM mediante ajuste contrastivo de imagen-texto, empleando regularización de auto-destilación para evitar el sobreajuste. Para lograr una alineación más efectiva, se utilizan pérdidas de alineación semántica de instancia y pérdidas de alineación de estructura de incrustación durante la herencia de representación y el ajuste contrastivo. El código está disponible en https://github.com/VisionXLab/ProCLIP.

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: Alineación Progresiva Visión-Lenguaje mediante un Embedder Basado en LLM

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

Resumen

Support