ProCLIP: Alinhamento Progressivo Visão-Linguagem via Incorporador Baseado em LLM

Resumo

O codificador de texto original do CLIP é limitado por um comprimento máximo de entrada de 77 tokens, o que prejudica sua capacidade de processar textos longos de forma eficaz e realizar uma compreensão semântica refinada. Além disso, o codificador de texto do CLIP não oferece suporte a entradas multilingues. Todas essas limitações restringem significativamente sua aplicabilidade em uma gama mais ampla de tarefas. Estudos recentes tentaram substituir o codificador de texto do CLIP por um incorporador baseado em LLM (Modelo de Linguagem de Grande Escala) para aprimorar sua capacidade de processar textos longos, compreensão multilingue e compreensão semântica refinada. No entanto, como os espaços de representação dos LLMs e o espaço visão-linguagem do CLIP são pré-treinados independentemente sem alinhamentos prévios, o alinhamento direto usando aprendizado contrastivo pode perturbar o alinhamento intrínseco visão-linguagem no codificador de imagem do CLIP, levando a uma subutilização do conhecimento adquirido durante o pré-treinamento. Para enfrentar esse desafio, propomos o ProCLIP, uma estrutura progressiva de alinhamento visão-linguagem baseada em aprendizado curricular, para alinhar efetivamente o codificador de imagem do CLIP com um incorporador baseado em LLM. Especificamente, o ProCLIP primeiro destila o conhecimento do codificador de texto do CLIP para o incorporador baseado em LLM, aproveitando o rico conhecimento pré-treinado do CLIP enquanto estabelece um alinhamento inicial entre o incorporador LLM e o codificador de imagem do CLIP. Posteriormente, o ProCLIP alinha ainda mais o codificador de imagem do CLIP com o incorporador baseado em LLM por meio de ajuste contrastivo imagem-texto, empregando regularização de auto-destilação para evitar sobreajuste. Para alcançar um alinhamento mais eficaz, são utilizadas perdas de alinhamento semântico de instância e perdas de alinhamento de estrutura de incorporação durante a herança de representação e o ajuste contrastivo. O código está disponível em https://github.com/VisionXLab/ProCLIP.

English

The original CLIP text encoder is limited by a maximum input length of 77 tokens, which hampers its ability to effectively process long texts and perform fine-grained semantic understanding. In addition, the CLIP text encoder lacks support for multilingual inputs. All these limitations significantly restrict its applicability across a broader range of tasks. Recent studies have attempted to replace the CLIP text encoder with an LLM-based embedder to enhance its ability in processing long texts, multilingual understanding, and fine-grained semantic comprehension. However, because the representation spaces of LLMs and the vision-language space of CLIP are pretrained independently without alignment priors, direct alignment using contrastive learning can disrupt the intrinsic vision-language alignment in the CLIP image encoder, leading to an underutilization of the knowledge acquired during pre-training. To address this challenge, we propose ProCLIP, a curriculum learning-based progressive vision-language alignment framework to effectively align the CLIP image encoder with an LLM-based embedder. Specifically, ProCLIP first distills knowledge from CLIP's text encoder into the LLM-based embedder to leverage CLIP's rich pretrained knowledge while establishing initial alignment between the LLM embedder and CLIP image encoder. Subsequently, ProCLIP further aligns the CLIP image encoder with the LLM-based embedder through image-text contrastive tuning, employing self-distillation regularization to avoid overfitting. To achieve a more effective alignment, instance semantic alignment loss and embedding structure alignment loss are employed during representation inheritance and contrastive tuning. The Code is available at https://github.com/VisionXLab/ProCLIP

ProCLIP: Alinhamento Progressivo Visão-Linguagem via Incorporador Baseado em LLM

ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder

Resumo

Support